抓包以及工作原理

1.使用场景

（1).排查线上前端问题

（2).抓包查看APP中webview渲染页面请求，单独h5链接有鉴权不能单独情况

（3).构建模拟测试场景(mock)

（4).APP弱网模拟测试

（5).前端性能分析及优化

2.什么是抓包

抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，通过抓包可以：

分析网络问
思路就是设置一个中间人进程负责抓包，每次目标进程之间的会话都先与中间人进程通信，再进行转发。
业务分析
分析网络信息流通量
数据在网络上是以很小的帧的单位传输的，帧通过特定的称为网络驱动程序的程序进行成型，然后通过网卡发送到网线上，通过网线到达目的机器，在目的机器的一端执行相反的过程。

接收端机器的以太网捕获到这些帧，并告诉操作系统帧已到达，然后对其进行存储。在这个传输和接收的过程，就可以使用抓包工具进行抓包，作为前端开发者，通常是抓取应用层的 HTTP/HTTPS 的包。

2.2 HTTP/HTTPS 抓包原理

HTTP/HTTPS 是应用层使用的通信协议，常见的应用层体系结构是客户端-服务器体系。

对运行在不同端系统上的客户端程序和服务端程序是如何互相通信的么？实际上，在操作系统上的术语中，进行通信的实际上是进程而不是程序，一个进程可以被认为是运行在端系统中的一个程序。

在 web 应用程序中，一个客户浏览器进程与一台服务器进程进行会话交换报文。

浏览器进程需要知道接收进程的主机地址，以及定义在目的主机中的接收进程的标识符，也就是目的端口。

思路就是设置一个中间人进程负责抓包，每次目标进程之间的会话都先与中间人进程通信，再进行转发。

2.2.1 HTTP 抓包原理

在 http 标准中，没有对通信端身份验证的标准。对于服务器来说，它接收的 HTTP 请求报文只要格式符合规范，就发送响应报文。

对于客户端来说也是如此，它无法校验服务器的身份因此，对于 HTTP 抓包，无需做过多的处理，只需要让中间人负责转发客户端和服务端的数据包。

2.2.2 HTTPS 抓包原理

HTTP 是明文传输，容易受到中间人攻击，不安全。

HTTPS 语义仍然是 HTTP，只不过是在 HTTP 协议栈中 http 与 tcp 之间插入安全层 SSL/TSL。

安全层采用对称加密的方式加密传输数据和非对称加密的方式来传输对称密钥，解决 http 数据没有加密、无法验证身份、数据容易纂改三个核心问题。

HTTP + SSL(加密 + 认证 + 完整性保护) = HTTPS
对称加密：传统的加密算法，就是加密和解密用的都是一个密码。

非对称加密: 通过算法可以随机生成这样的两个字符串，称为一对公钥和私钥，知道算法，并且拥有其中任意的一把钥匙，你能解开用另一把钥匙加密过的密文。但你几乎不可能通过手头的这把钥匙逆推出另一把钥匙，这保证了钥匙的安全。为了能快速加解密，一般公钥比较短，私钥比较长。私钥不传播不公开，所以称为私钥，公钥公开发布出去。也就是公钥加密，通过私钥解密。

我们知道用https://www.baidu.com方式浏览网页的时浏览器首先要做的就是从对方的服务器上下载该网站的证书，并验证证书有效后，才会开始建立https连接。

1.客户端向服务器请求时，服务器先返回包含其公钥的证书。

2.客户端根据CA证书自签根证书解密并校验证书链(为了防止证书被篡改，证书的正文信息后面，附加了一段CA机构的签名信息(密文))

证书的真伪验证是一个链条式的逐级验证的过程，这被称为信任链：

CA用私钥自签生成根证书（内含CA公钥），预装到你的操作系统或浏览器，
CA用私钥给二级机构签发二级证书（内含二级机构公钥），或许也已经出现在你的系统中，你能用根证书验证它
二级机构给各企业或网站或用户签发证书（内含用户公钥），用户使用证书来安全的分发公钥
最终用户获取到某个证书后，可以通过预装在自己系统中的上级证书，来验证该证书是否有效
3.客户端验证服务器证书的合法性后，生成一个随机数通过该公钥加密发给服务器，服务器通过自己的私钥解密得到这个随机数，完成密码交换。

4.出于性能效率考虑，后续客户端与服务器通过交换的随机数对数据进行对称加解密。

image.png

中间人想要抓包，需在 HTTPS 加密通信之前，关键就是获得这个密码,方法是：

1.需要抓包的目标上先安装抓包软件的证书

2.把这个抓包软件自我签发的证书设置为信任或放到根证书区域完全信任

3.在目标上配置代理，把它所有的流量导向抓包软件，抓包软件截获目标发往服务器的通讯请求后，就能伪装成服务器，伪造一张证书发给客户端，因为你之前配置并信任了我的根证书，所以我现在伪造的证书被你验证通过，让客户端以为就是真正的服务器给的证书和目标通信（密码自然就获取到了）

4.同时也伪装成目标与真正的服务器通信。

以Fiddler为例，Fiddler抓取HTTPS过程

Fiddler截获客户端发送给服务器的HTTPS请求，Fiddler伪装成客户端向服务器发送请求进行握手。
服务器发回相应，Fiddler获取到服务器的CA证书，用根证书（这里的根证书是CA认证中心给自己颁发的证书）公钥进行解密，验证服务器数据签名，获取到服务器CA证书公钥。然后Fiddler伪造自己的CA证书（这里的CA证书，也是根证书，只不过是Fiddler伪造的根证书），冒充服务器证书传递给客户端浏览器。
与普通过程中客户端的操作相同，客户端根据返回的数据进行证书校验、生成密码、用Fiddler伪造的证书公钥加密，并生成HTTPS通信用的对称密钥enc_key。
客户端将重要信息传递给服务器，又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开，获得并计算得到HTTPS通信用的对称密钥enc_key。Fiddler将对称密钥用服务器证书公钥加密传递给服务器。
与普通过程中服务器端的操作相同，服务器用私钥解开后建立信任，然后再发送加密的握手消息给客户端。
Fiddler截获服务器发送的密文，用对称密钥解开，再用自己伪造证书的私钥加密传给客户端。
客户端拿到加密信息后，用公钥解开，验证HASH。握手过程正式完成，客户端与服务器端就这样建立了”信任“。
在之后的正常加密通信过程中，Fiddler如何在服务器与客户端之间充当第三者呢？
服务器—>客户端：Fiddler接收到服务器发送的密文，用对称密钥解开，获得服务器发送的明文。再次加密，发送给客户端。
10.客户端—>服务端：客户端用对称密钥加密，被Fiddler截获后，解密获得明文。再次加密，发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key，所以在整个HTTPS通信过程中信息对其透明。

3.常用抓包工具操作

参考链接:

https详解

1.https://www.cnblogs.com/gugu33/p/14258329.html

2.https://blog.csdn.net/zxy5663/article/details/126254589

3.https://blog.csdn.net/yang12345

抓包工具教程

Fiddler抓包的详细教学

https://blog.csdn.net/m0_73409141/article/details/126998267

Charles 抓包工具详解

https://blog.csdn.net/eyishion/article/details/54177916

Fiddler Classic 替换本地JS并远程调试

https://blog.csdn.net/sword_hap