利用爬虫获取app数据

前言：网页的数据一般可以直接通过network来查看其发送的请求url，爬取较为容易。但是对于app来说，不能直接看到它的url，就需要有抓包工具。

1 fiddler介绍

fiddler是一个web调试工具，能够抓取客户端和服务端之间的交互数据。fiddler是学习http协议的一个很好的工具。其本质是一台web代理服务器，也就是讲原本客户端和服务端直接是直接请求，现在是在它们中间加上了一个代理服务器进行中转。代理地址:127.0.0.1,端口:8888。当Fiddler启动后将自己变成一个代理服务器,这个代理服务器默认监听127.0.0.1:8888.然后打开IE的时候,IE浏览器会以127.0.0.1:8。 退出的时候它会自动注销代理，这样就不会影响别的程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。

2 工作原理

1）fiddler截获客户端发送的服务器https请求， 两者之间此时还未建立握手
2）fiddler向服务器发送请求进行握手， 获取到服务器的CA证书， 用根证书公钥进行解密， 验证服务器数据签名， 获取到服务器CA证书公钥
3）fiddler伪造自己的CA证书， 冒充服务器证书传递给客户端浏览器， 客户端浏览器做跟fiddler一样的事
4）客户端浏览器生成https通信用的对称密钥， 用fiddler伪造的证书公钥加密后传递给服务器， 被fiddler截获
5） fiddler将截获的密文用自己伪造证书的私钥解开， 获得https通信用的对称密钥
6）fiddler将对称密钥用服务器证书公钥加密传递给服务器， 服务器用私钥解开后建立信任， 握手完成， 用对称密钥加密消息， 开始通信
7） fiddler接收到服务器发送的密文， 用对称密钥解开， 获得服务器发送的明文。再次加密， 发送给客户端浏览器。
8）客户端向服务器发送消息， 用对称密钥加密， 被fidller截获后， 解密获得明文

3 手机抓包

fiddler已经可以获取到客户端发送的请求，那么可以将电脑设置成为手机的网络代理，手机的所有请求发送到电脑，电脑的请求发送给fiddler，fiddler发送给服务端。
具体的操作如下：
1）在fiddler中option选择capture https connects（捕获https连接），connections当中选择allow remote computers to connect。
2）确保手机和电脑位于同一个局域网中，连接在同一个wifi之下就可以，并且查看电脑的ip，将手机的网络代理设置成电脑ip，端口为8888。
3）通过浏览器访问ip:端口下载ca证书，并安装。
设置完成后，就在fiddler当中查看app发送的请求数据。