8.每天进步一点点---Python抓包要了解的知识

1.HTTPS 介绍

前面我们学习了HTTP，它使用 TCP 进行数据传输，数据没有加密，直接明文 传输，意味着可能会泄露传输内容，被中间人劫持，从而修改传输内容。 最常见的是运营商劫持对网页内容进行修改并添加广告。HTTPS 的出现旨在解决这些 风险因素：保证信息加密传输，避免被第三方窃取；为信息添加校验机制，避免被第三方 破坏；配置身份证书，防止第三方伪装参与通信。

HTTPS（Hyper Text Transfer Protocol over Secure Socket Laye，安全超文本传输协议）， HTTP 是应用层协议，TCP 是传输层协议，HTTPS 是在这两层之间添加一个安全套接层 SSL/TLS。HTTPS 可以理解成 HTTP 的安全版。

在学习 HTTPS 的工作流程之前，先要了解一些名词。

• 对称加密：加密用的密钥和解密用的密钥是一样的。
• 非对称加密：加密用的密钥（公钥）和解密用的密钥（私钥）是不一样的，公钥 加密过的数据只能通过私钥解开，私钥加密过的数据只能通过公钥解开。
• 公钥：公开的密钥，所有人都能查到。
• 私钥：非公开的密钥，一般由网站的管理员持有。
• 证书：网站的身份证，包含了很多信息，包括公钥。
• CA（证书颁发机构）：颁布证书的机构，可以颁发证书的 CA 很多，只有少数被 认为是权威的 CA，浏览器才会信任。比如 12306 网站的 CA 证书，就是由中国铁 道部自行签发的，而这个证书是不被 CA 机构信任的，在浏览器的左上角有一个 感叹号。

另外，免费的 SSL 证书比较少，一般是收费的且功能越强大的证书费用越高。

2.HTTPS 的工作流程

HTTPS 方式客户端与服务器端通信的流程如图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3u11r5NM-1670765308140)(Python爬虫image/image-20221211204832374.png)]

流程详解如下： （1）客户端使用 HTTPS 的 URL 访问服务器端，要求与服务器端建立 SSL 连接。 （2）服务器端接收到请求后，会给客户端传送一份网站的证书信息（证书中包含公钥）。 （3）客户端浏览器与服务器端开始协商 SSL 连接的安全等级，即信息加密的等级。 （4）客户端浏览器根据双方同意的安全等级，建立会话密钥，然后利用网站的公钥将 会话密钥加密，并传送给服务器端。 （5）服务器端利用自己的私钥解密出会话密钥。 （6）服务器端利用会话密钥加密与客户端之间的通信。 最后还有一点要注意，并不是使用了 HTTPS 就绝对安全，它只是增加了中间人攻击的 成本，但是它比没有任何加密的 HTTP 安全。另外，建议重要的数据要单独进行加密。

3.抓包工具

我们找一些免费的抓包工具，就能满足日常使用

wireshark

可以捕获并描述网络数据包，其最大的优势就是免费、开源以及多平台支持，在GNU通用公共许可证的保障范围下，用户可以免费获取软件和代码，并拥有对其源码修改和定制的权利。

Wireshark 特点

• 支持实时捕获和离线分析
• 跨平台使用，可以在在 Linux、Windows、OS X 和 FreeBSD运行
• 支持协议多
• 支持读/写许多不同的捕获文件格式
• 开源免费，使用成本低

Wireshark 下载地址

https://www.wireshark.org/

fiddler

能记录所有客户端和服务器的http和https请求，允许用户监视，设置断点，甚至修改输入输出数据。

Fiddler 特点

• 支持 HTTP 会话压缩，极大地减少客户端和服务器之间的字节传输
• 支持重复、编辑请求
• 对 cookie、标头和缓存的可见性
• 支持解密 HTTPS 流量

Fiddler 下载地址

https://www.telerik.com/download/fiddler

后续补充如何使用这两个抓包工具