软件测试之TCP、HTTP协议必知必会，面试必备！

一、网络模型及传输

1.1 OSI七层网络模型

OSI七层模型：是ISO组织研究的一种网络互连模型，目的是为了推荐所有公司使用这个规范来控制网络。OSI七层模型从下至上分别为：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。它们大概的作用如下图所示。

关于七层网络模型中的每一层，都是为了解决网络中的某一个或某些问题。每一层的目的，可以参考下图中的描述。针对软件测试人员来说，我们在工作或面试中，常会接触到的就是传输层（TCP、UDP）和应用层（HTTP、HTTPS等）。

1.2 TCP/IP四层概念模型

TCP/IP四层概念模型是目前较为常用的一种网络模型，相较于OSI七层网络模型，只是对比OSI将七层减少为四层。

OSI七层网络模型	TCP/IP四层网络模型	对应网络协议
应用层	应用层	HTTP、TFTP、FTP、NFS、WAIS、SMTP
表示层		SNMP、Telnet、Rlogin
会话层		SMTP、DNS
传输层	传输层	TCP、UPD
网络层	网络层	IP、ICMP、ARP、RARP、AKP、UUCP
数据链路层	数据链路层	FDDI、PDN、PPP
物理层		IEEE 802.1A、IEEE 802.2到IEEE 802.11

1.3 网络传输过程

数据在网络传输的过程中，本质是一个封装和解封装的过程。例如：用户使用浏览器向百度服务器发送请求过程中，就是用户的数据从应用层一路封装到物理层，服务器得到物理层的比特流后，一路解封装得到对应数据。同理，服务器响应给用户的数据，也是服务器先一路封装，然后用户再一路解封。

二、TCP、UPD协议详解

    在网络层的中，使用ARP、IP、路由协议，实现了数据的转发，从而实现两个机器之间数据包的传输。但是当数据包特别大的时候，通过网络层的协议，没有办法保证数据的完整性。此时，就需要传输层的协议实现数据包的完整传输。
    在传输层中，定义了TCP和UDP这两个协议，并且定义端口的概念，用来寻找应用程序，从而实现端到端的数据传输。

2.1 TCP协议概述

TCP协议：传输控制协议，就是对数据的传输进行一定的控制。关于TCP数据报文格式如图所示，关于TCP头部信息详细数据可以参考链接：(传输层)TCP协议。针对测试而言，我此处只标注出需要注意的地方。

• TCP报文=TCP头部+TCP数据部分。同样，IP数据包也包含tcp数据包或udp数据包。其中，我们经常需要关注的是TCP头部。
• 源端口和目的端口：各占 2 字节.端口是传输层与应用层的服务接口.传输层的复用和分用功能都要通过端口才能实现。
• 序号：占4个字节，TCP连接中传送的字节流中的每个字节都按顺序编号。
• 确认号：占4个字节，是期望收到对方下一个报文的第一个数据字节的序号。
• ACK：仅当ACK=1时，确认号字段才有效。TCP规定，在连接建立后所有报文的传输都必须把ACK置1；
• RST：当 RST=1 时,表明 TCP 连接中出现严重差错（如由于主机崩溃或其他原因）,必须释放连接,然后再重新建立运输连接
• SYN：同步 SYN = 1 表示这是一个连接请求或连接接受报文
• FIN：用来释放一个连接.FIN=1 表明此报文段的发送端的数据已发送完毕,并要求释放运输连接

2.2 TCP三次握手

TCP三次握手：即为TCP连接的建立。如果将TCP三次握手类比为打电话，可以如图所示。

关于TCP三次握手，客户端及服务器处于的状态、三次握手中发送的序号等相关信息可以如图所示。

• 第一次握手：建立连接时，客户端发送SYN包（seq=x）到服务器，并进入SYN_SENT状态，等待服务器确认；
• 第二次握手：服务器收到SYN包，为了确认客户的SYN包，所以发送一个确认包ACK（ack=x+1），同时自己也发送一个SYN包（seq=y），即SYN+ACK包，此时服务器进入SYN_RECV状态。
• 第三次握手：客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK(ack=y+1），此包发送完毕，客户端和服务器进入ESTABLISHED（TCP连接成功）状态，完成三次握手。

2.3 TCP四次挥手

TCP四次握手：即为TCP连接的释放。如果将TCP四次挥手类比为学生和老师之间的对话，如图所示。

关于TCP四次挥手，客户端及服务器处于的状态、四次挥手中发送的序号等相关信息可以如图所示。

• 第一次挥手：客户端发送一个FIN（seq=u）包，代表连接释放，并停止发送数据，客户端进入FIN-WAIT-1（终止等待1）状态。
• 第二次挥手：服务器收到客户端发送的释放连接报文，发出确认报文ACK包（ack=u+1）,并且带上序列号seq=v,服务端进入CLOSE-WAIT（关闭等待）状态。客户端收到确认请求后，进入FIN-WAIT-2（终止等待2）状态。
• 第三次挥手：服务器将最后的数据发送完后，向客户端发送释放连接报文FIN包（seq=w）。且由于服务器处于半关闭状态，服务器会像第二次挥手过程中一样，发送ACK包（ack=u+1）。服务器就进入了LAST-ACK（最后确认）状态，等待客户端的确认。
• 第四次挥手：客户端收到服务器的连接释放报文后，发出确认报文ACK包（ack=w+1），且带上序列号seq=u+1，发送完后，客户端进入TIME-WAIT（时间等待）状态，。而服务器收到客户端发出的确认，立即进入CLOSED状态。

2.4 UDP协议概述

    UDP(User Datagram Protocol)：用户数据报协议。是一种无连接的传输层协议，不会创建连接，所以是一种不可靠的协议。它的优点为速度快，缺点为会丢包、会出错。关于UDP数据报文的格式，可以参考博客：UDP协议的详细解析
    由于UDP协议的特点，所以UPD协议的使用场景如下：

• 不需要可靠机制，只需要速度快。
• 流媒体、多媒体游戏、IP电话
• 资源消耗小

2.5 TCP协议与UDP协议对比

    根据是否连接、传输可靠性、应用场景、速度这几个特点，TCP协议和UDP协议有以下几点不同。

特征点	TCP	UDP
是否连接	面向连接	面向非连接
传输可靠性	可靠	会丢包，不可靠
应用场景	数据量很大，防止丢包	量小
速度	慢	快

常见的应用层协议中，基于TCP协议的有：HTTP、HTTPS、FTP。基于UDP协议的有：DNS（域名解析协议）等。

三、HTTP、HTTPS协议详解

3.1 HTTP协议概述

HTTP协议：超文本传输协议，是基于TCP的协议，默认为80端口。它的作用是用来规定客户端和服务器的数据传输格式。是一种用于请求与响应模式的、无状态、无连接 的应用层协议。 由于HTTP协议是一种请求-响应模式，所以一般需要关注HTTP请求和HTTP响应。

3.2 HTTP协议之请求报文

HTTP请求的报文分为四部分：请求行、请求头、空一行、请求体，其中前三个是所有HTTP请求都有的部分，请求体不是所有的HTTP请求都有（例如GET请求没有请求体）。下图为一个HTTP请求的报文信息：

请求行：请求行由 请求方法、统一资源定位符（URL）、HTTP协议及版本。

• 请求方法：HTTP请求中，有八种请求方式，分别为GET、POST 、HEAD、OPTIONS、PUT、DELETE、TRACE 、CONNECT 。其中最后常用的就是GET、POST请求方法。
  
• 统一资源定位符（URL）：统一资源定位符用于描述网上的资源，格式如下：协议：//host[:port#]/path/../[?query-string]。
• HTTP协议及版本：通常为HTTP/1.1。

---

请求头：包含若干个属性，格式为“属性名：属性值”，服务端根据此获取客户端的信息。下图为常见的请求头及作用，还可以自定义请求头。

请求头名称	作用
Host	主机IP地址或域名
User-Agent	客户端相关信息，如操作系统，浏览器等信息
Accept	指定客户端接收信息类型，如image/jpg等
Accept-Charset	客户端接收的字符集
Accept-Encoding	可接受的内容编码
Accept-Language	接收的语言
Authorization	客户端提供给服务器，进行权限认证的信息
Cookie	携带的Cookie信息
Referer	当前文档的URL, 防止盗链
Content-Type	实体头内容类型
Content-Length	数据长度
Cache-Control	缓存机制
Pragma	防止页面被缓存

---

空一行：发送回车符和换行符，通知服务器以下不再有请求头。
请求体：即为请求参数，通常为以键值对的形式数据。一般在POST请求中才有请求体。

3.3 HTTP协议之响应报文

HTTP响应的报文分为四部分：状态行、响应头、空一行、响应体，其中前三个是所有HTTP响应都有的部分，响应体不是所有的HTTP响应都有。下图为一个HTTP响应的报文信息：

状态行：状态行由 协议及版本、状态码、状态码解释。

• 协议及版本：通常为HTTP/1.1。

• 状态码：常用状态码根据数字大小可以分为以下几大类。常用的响应状态码为：200:请求成功、302:重定向、403:服务器拒绝请求、404:服务器找不到请求的网页、503:服务不可用。

  响应状态码范围	含义
  100~199	提示信息，请求被成功接收
  200~299	成功接收请求并已完成整个处理过程。常用200
  300~399	重定向相关
  400~499	客户端的请求有错误
  500~599	服务器端出现错误

• 描述：即为响应信息的描述。

---

响应头：响应头用于描述服务器的基本信息，以及数据的描述，服务器通过这些数据的描述信息，可以通知客户端如何处理等一会儿它回送的数据。

响应头名称	作用
Server	HTTP服务器的软件信息
Date	响应报文的时间
Expires	指定缓存过期时间
Set-Cookie	设置Cookie
Last-Modified	资源最后修改时间
Content-Type	响应的类型和字符集
Content-Length	内容长度
Connection	如Keep-Alive，表示保持tcp连接不关闭
Location	指定重定向的位置，新的URL路径

空一行：发送回车符和换行符，代表后面不再有响应头。
响应体：响应的消息体。

3.4 HTTP协议 无状态、无连接特点及解决方案

在最前面介绍HTTP协议的时候，说到HTTP协议是一个无状态、无连接的协议。那么何为无状态、无连接，以及该特点的优势及所带来的问题。

无状态：

• 含义：（1）对事务处理没有记忆能力，服务器不知道客户端是什么状态，给服务器发送HTTP请求之后，服务器回应之后，不会有任何记录；（2）每个请求都是独立的；
• 优点：释放服务器压力。
• 缺点：服务器处理后续请求，需要重传。例如登录系统后，如果不记录登录的相关信息，后续进行添加购物车操作的时候，需要登录的相关信息。
• 解决方案：（1）Cookie：将前面的请求信息保存在一个临时位置。cookies值存在浏览器里，关闭浏览器后被删除，也可以手动去删除。（2）Session：可以理解为永久的cookie值，保存在服务器上，并传递给客户端，并保存在内存中。问题：资源占用，session超时时间，清除session ID。

无连接：

• 含义：（1）限制每次连接只处理一个请求；（2）服务器处理客户端的请求、并接受客户端的应答后，即断开连接；
• 初衷：用户量（十万、上百万）页面请求、单个用户间歇性大（很长时间上没有交互），有突发性、瞬时性。数据没有关联，导致资源浪费，从而服务器压力很大。
• 设计：从而设计为处理完请求后，释放连接。
• 问题：网页越来越复杂了，页面中有很多图片，如果每次都要建立一次TCP连接，效率就会很低。
• 解决方案：connection响应头字段值 Keep-Alive 表示保持tcp连接不关闭，不会永久保持连接，服务器可设置

3.5 HTTPS协议详解

HTTP协议存在的问题：发送的数据都是明文的，存在第三方窃听，截取数据包、伪装客户端的情况，存在安全隐患。

HTTPS协议：超文本传输安全协议，是以网络安全为目标的HTTP通道，简单来讲就是HTTP的安全版。它加密数据并确保其机密性，可保护用户在网站交互时免于窃取个人信息及计费数据。可以理解为：（1）HTTPS=HTTP+SSL（2）HTTPS=HTTP+加密+身份认证+完整性。其中加密：密钥；身份认证： 证书（申请）双向认证； 完整性保护：哈希算法 计算一个hash值，验证消息的完整性 摘要=摘要 保证数据没有被篡改 ；

• HTTPS=HTTP+SSL
  
• HTTPS之SSL连接详解
  

3.6 HTTP协议与HTTPS协议对比

对面特点	HTTP协议	HTTPS协议
安全性	安全性低——明文传输、易受攻击，无法确认双方身份，也无法确保数据的完整性	安全性高——使用ssl加密传输协议，信息是密文，可以认证双方的身份，防止信息被截取篡改
默认TCP端口	80端口	443端口
灵活度或技术门槛	简单快速，使用很灵活	技术门槛：多数个人或私人网站难以支撑
速度	协议简单，HTTP服务器的程序规模小，因而通信速度很快	加重服务端的负担，需要资源来支撑，降低用户的访问速度
费用	没有额外的费用	CA机构颁发的证书都是需要年费的

四、常见面试题

在面试中常见的问题有：（1）HTTP请求响应报文（2）HTTP与HTTPS的区别（3）TCP三次握手与四次挥手（4）HTTP常见状态码（5）HTTP八种请求方式（6）简述OSI七层网络模型（7）HTTP无状态、无连接特点及解决方案（8）cookie和session的区别。上述的这些问题再前面都已经写到了，下面将前面没有写到的写照后面。

• 浏览器输入url按回车背后经历了哪些？

  1、首先，在浏览器地址栏中输入url，先解析url，检测url地址是否合法
  2、浏览器先查看浏览器缓存-系统缓存-路由器缓存，如果缓存中有，会直接在屏幕中显示页面内容。若没有，则跳到第三步操作。
  浏览器缓存：浏览器会记录DNS一段时间，因此，只是第一个地方解析DNS请求；
  操作系统缓存：如果在浏览器缓存中不包含这个记录，则会使系统调用操作系统，获取操作系统的记录(保存最近的DNS查询缓存)；
  路由器缓存：如果上述两个步骤均不能成功获取DNS记录，继续搜索路由器缓存；
  ISP缓存：若上述均失败，继续向ISP搜索。
  3、在发送http请求前，需要域名解析(DNS解析)，解析获取相应的IP地址。
  4、浏览器向服务器发起tcp连接，与浏览器建立tcp三次握手。
  5、握手成功后，浏览器向服务器发送http请求，请求数据包。
  6、服务器处理收到的请求，将数据返回至浏览器
  7、浏览器收到HTTP响应
  8、浏览器解码响应，如果响应可以缓存，则存入缓存。
  9、 浏览器发送请求获取嵌入在HTML中的资源（html，css，javascript，图片，音乐······），对于未知类型，会弹出对话框。
  10、 浏览器发送异步请求。
  11、页面全部渲染结束。
  

• GET和POST的区别？
  参考链接：GET和POST两种基本请求方法的区别

• 什么是socket？简述基于tcp协议的套接字通信流程

  Socket 又称”套接字”,是系统提供的用于网络通信的方法.
  TCP编程的客户端一般步骤是：
  　　1、创建一个socket，用函数socket()；
  　　2、设置socket属性，用函数setsockopt();* 可选
  　　3、绑定IP地址、端口等信息到socket上，用函数bind();* 可选
  　　4、设置要连接的对方的IP地址和端口等属性；
  　　5、连接服务器，用函数connect()；
  　　6、收发数据，用函数send()和recv()，或者read()和write();
     7、关闭网络连接；