2018-08-28

• 一、http和https
  • HTTP的全称是Hyper Transfer Protocol ---->超文本传输协议，主要从网络传输超文本数据到本地浏览器的传输协议。
    HTTPS的全称Hpyer Text Transfer Protocol over Secure Socket Layer，试验权为目标的HTTP通道。
    HTTPS的安全基础为SSL，因此通过它传输的内容都经过的SSL加密，其主要分为两种：
    • 建立一个信息通道保证数据传输的安全
    • 确认网站的真实性，可以通过点击浏览器地址栏的锁头标志来查看网站认证之后的真实信息，可以通过CA机制panda的安全签章查询。
  • 爬取SSL加密的网站需要设置忽略证书的选项，否则提示SSL连接错误。
• 二、HTTP请求过程
  • 1、请求：有客服端向服务端发出,分为4部分内容：
    请求方式（Request Method）、请求网址（Request URL）、请求头（Request Header）、请求体（Request Body）。
    • 常见的请求方法两种：GET和POST
      1. GET 请求：GET请求中的参数包含在URL里面，数据可以在URL中看到，而POST请求的URL不会包含这些数据，数据都是通过表单形式传输的，包含在请求体中。
      2. GET请求提交的数据最多只有1024字节，而POST方式没有限制。
         HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。
         HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。
         序号 方法 描述
         1 GET 请求指定的页面信息，并返回实体主体。
         2 HEAD 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头
         3 POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。
         4 PUT 从客户端向服务器传送的数据取代指定的文档的内容。
         5 DELETE 请求服务器删除指定的页面。
         6 CONNECT HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。
         7 OPTIONS 允许客户端查看服务器的性能。
         8 TRACE 回显服务器收到的请求，主要用于测试或诊断。
  • 2、请求的网址：
    • 请求的网址。及统一资源定位符URL，它可以唯一确定我们想请求的资源。
  • 3、请求头：用来说明服务器使用的附加信息有cookie、Referer、User-Agent等。
    • Accept：请求报头域，用于指定客服端可接受的信息类型
    • Accept-Language：指定客服端可接受的语言类型
    • Accept-Encoding：指定客服端可接受的内容编码
    • Host：用于指定请求资源的IP和端口号，其内容为请求的URL的原始服务器或弯管的位置。
    • cookie：网站为了辨别用户会话而存储在用户本地的数据，用于维持当前访问的会话。
    • Referer：用来表示这个请求是从那个页面发过来的，可以做来源统计、防盗链处理等。
    • User-Agent：简称UA ，他是一个特殊的字符串头，可以是服务器识别客服使用的操作系统及版本、浏览器及版本等信息，在爬虫时可以伪装成浏览器。
    • Content-Type：用来表示请求中的媒体类型
  • 4、请求体
    • 请求体一般承载POST请求中的表达数据，对于GET请求，请求体则为空。
• 响应
  响应，由服务器返回给客服端，可以分为三部分：响应状态码（Response Code）、响应头（Rsponse Headers）和响应体（Response Body）
  • 响应状态码：表示服务器响应状态
    • 200 成功 服务器已成功处理了请求
    • 307 临时重定向 请求的网页展示跳转到其他页面，即暂时重定向
    • 403 禁止访问 服务器拒绝请求
    • 400 错误请求 服务器无法解析该请求
    • 404 未找到 服务器找不到亲球的网页
    • 500 服务器内部错误 服务器错误无法完成请求