爬虫常用请求头和响应头信息

常用请求头信息：

-User-Agent:请求载体的身份标识，即浏览器信息（如版本，apach信息，OS版本）

-Connection: 请求完毕后，是断开连接还是保持连接

- Referer: 表示请求来源，目地是防止盗链或者恶意请求。比如说我准备访问www.baidu.com.  而我是从360网站里面访问的百度主页，说明来源是360，此时Referer=http://www.360.com

-cookie：查看用户身份，保持会话

常用请求头信息：

 -Content-Type:服务器响应回客户端的数据类型，如字符串等等

 

爬虫基本常识补充：

http协议：超文本协议，服务端和客户端进行数据交互的一种形式

https协议：比http协议安全，即安全的超文本协议。涉及了加密。在应用层叫SSL(Secure Socket Layer,安全套接字协议), 在传输层叫安全传输层协议（Transport Layer Security，TLS）用于在两个通信应用程序之间提供保密性和数据完整性。一般情况下，默认二者是一样的，只是在不同网络层名字不同而已。很多情况下，可以看到https中的s为SSL/TLS。

加密方式： 分为对称加密和非对称加密。

                对称加密： 客户端A用公钥K加密，文件传输后，客户端B公钥K解密。特别适用于大文件加密，由于需要传输公钥K, 存在被获取或者数据被更改的风险，所有不安全。

                非对称加密：客户端A（有A的公钥Ga,A的私钥Sa）用Ga/Sa加密/解密， 同理， 客户端B（有B的公钥Gb,A的私钥Sb）用Gb/Sb加密/解密。注意，私钥是不公开的，公钥是公开的。

 

一个有趣的题目：用来理解一般的常用加密方式，即对称加密，非对称加密，信息摘要，数字信封相结合。