mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫

参考链接：https://zhuanlan.zhihu.com/p/68806789

1. 准备下载软件

介绍一款爬虫辅助工具mitmproxy ，mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是，mitmproxy可以进行二次开发，尤其可以对接python。

mitmproxy一般用于开发或者测试，用在爬虫辅助也是极好的。

1.1 下载地址

github地址：https://github.com/mitmproxy/mitmproxy
官网地址：https://mitmproxy.org/

1.2 安装流程

进入CMD窗口，Python3执行

pip install mitmproxy==5.0.1

安装完成后，系统将拥有 mitmproxy、mitmdump、mitmweb 三个命令，由于 mitmproxy 命令不支持在 windows 系统中运行。

mitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler、Charles的功能。除了命令行形式的控制台，mitmproxy还有两个关联组件：mitmdump和mitmweb。

mitmdump：它是mitmproxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。

mitmweb：它是一个Web程序，通过它我们可以清楚观察mitmproxy捕获的请求。
我们可以拿 mitmdump 测试一下安装是否成功，执行：

mitmdump --version

1.3 启动mitmweb

控制台运行

mitmweb

输出

mitmweb
Web server listening at http://127.0.0.1:8081/
Proxy server listening at http://*:8080

同时打开你的默认浏览器

1.4 配置代理

将代理服务器设置为 127.0.0.1:8080即可

这是完毕，在随便访问一个网站，例如百度，一股似曾相识的感觉铺面而来，这就是网页版的Fiddler

image

1.5 命令行启动

接下来关闭所有 Chrome 窗口，否则命令行启动时的附加参数将失效。打开 cmd，执行：

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

前面那一长串是 Chrome 的的安装路径，应当根据系统实际情况修改，后面两参数设置了代理地址并强制忽略掉证书错误。

1.6 CA证书的安装

当我们初次运行mitmproxy或mitmdump时，

会在当前目录下生成 ~/.mitmproxy文件夹，其中该文件下包含4个文件，这就是我们要的证书了。

image

mitmproxy-ca.pem 私钥
mitmproxy-ca-cert.pem 非windows平台使用
mitmproxy-ca-cert.p12 windows上使用
mitmproxy-ca-cert.cer 与mitmproxy-ca-cert.pem相同，android上使用

windows上安装证书很简单，双击.p12结尾的证书文件即可。安卓手机需要将对应的文件发送到手机文件，进行安装。

将mitmproxy-ca-cert.cer 放到sdcard根目录下
选择设置-安全和隐私-从存储设备安装证书

2. 使用mitmdump连接安卓模拟器或者手机

在windows平台下一般使用mitmdump 控制台运行 mitmdump，出现如下结果

2.1 获取本地IP地址 ipconfig

打开模拟器，跟fiddler和Charles的配置其实是非常类似的

基本步骤

1.电脑和手机连接到同一个wifi环境下

2.修改浏览器代理服务器地址为运行mitmdump的那台机器（本机）ip地址，端口设定为你启动mitmdump时设定的端口，如果没有指定就使用8080

3.手机做同样操作，修改wifi链接代理为【手动】，然后指定ip地址和端口

4.在手机或pc机上打开浏览器访问 mitm.it 这个地址，选择你当前平台的图标，点击安装证书。

操做完成在Windows窗口中输入CMD,输入 mitmdump, 手机或者模拟器中输入百度，在dos窗口中查看抓包信息