爬虫入门之Http协议

先上HTTP通信图：

TCP通信—>HTTP协议通信

---

HTTP协议（超文本传输协议） 应用层协议

---

• 用途：

  • 网页的获取
  • 数据的传输

• 特点：

  1. 应用层协议，传输层采用TCP方式收发消息
  2. 简单，灵活，很多语言都有http协议接口
  3. 无状态的协议，协议本身不要求记录传输数据
  4. http1.1 支持持久连接

• 网页请求过程：

  1. 客户端通过tcp传输发送http请求给服务器
  2. 服务器收到Http请求，进行解析
  3. 服务端处理具体请求内容 ，整理需要的数据
  4. 将数据以http相应格式回发给客户端
  5. 浏览器接受响应，显示内容

1. http请求（request）

   1. 请求格式：

      • 请求行：具体的请求类别和请求内容
        格式： Get / http/1.1
        请求类别 请求内容 协议版本
        请求类别：每种类别代表不同事情
        GET（获取网络资源） POST（提交一定的信息） HEAD（获取网络资源的响应头） PUT（更新服务器资源） DELETE（删除服务器资源） CONNECT TRACE OPTIONS（获取服务器信息）
      • 请求头：对请求内容的基本描述
      • 空行：
      • 请求体：请求参数和提交内容
2. HTTP 响应
   1. 响应格式：

      • 响应行:反馈相应的基本情况

        • 格式：HTTP/1.1 200 OK
          协议版本 响应吗 附加信息
          响应码：1 提示信息请求被接收
          2： 响应成功
          3：响应需要进一步操作 重定向
          4：客户端错误
          5：服务器错误

      • 响应头：对相应内容的描述信息

      • 空行

      • 响应体 ：回复给客户端的具体内容