十三、Mitmproxy Mock实战

目录

• mitmproxy介绍
• mitmproxy工具
• mitmdump实战

mitmproxy介绍

• 顾名思义，mitmproxy 就是用于 MITM 的 proxy，MITM 即中间人攻击（Man­in­the­middle attack）。用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。

• 不同于 fiddler 或 wireshark 等抓包工具，mitmproxy 不仅可以截获请求帮助开发者查看、分析，更可以通过自定义脚本进行二次开发。举例来说，利用fiddler 可以过滤出浏览器对某个特定 url 的请求，并查看、分析其数据，但实现不了高度定制化的需求，类似于：“截获对浏览器对该 url 的请求，将返回内容置空，并将真实的返回内容存到某个数据库，出现异常时发出邮件通知”。而对于mitmproxy，这样的需求可以通过载入自定义 python 脚本轻松实现。

• 但 mitmproxy 并不会真的对无辜的人发起中间人攻击，由于 mitmproxy 工作在 HTTP 层，而当前 HTTPS 的普及让客户端拥有了检测并规避中间人攻击的能力，所以要让 mitmproxy 能够正常工作，必须要让客户端（APP 或浏览器）主动信任 mitmproxy 的 SSL 证书，或忽略证书异常，这也就意味着 APP 或浏览器是属于开发者本人的——显而易见，这不是在做黑产，而是在做开发或测试。

• 那这样的工具有什么实际意义呢？据我所知目前比较广泛的应用是做仿真爬虫，即利用手机模拟器、无头浏览器来爬取 APP 或网站的数据，mitmpproxy 作为代理可以拦截、存储爬虫获取到的数据，或修改数据调整爬虫的行为。

• 事实上，以上说的仅是 mitmproxy 以正向代理模式工作的情况，通过调整配置，mitmproxy 还可以作为透明代理、反向代理、上游代理、SOCKS 代理等，但这些工作模式针对 mitmproxy 来说似乎不大常用，故本文仅讨论正向代理模式。

• 参考资料：

  • mitmproxy 官网：https://www.mitmproxy.org/
  • mitmporxy 插件官方案例：https://docs.mitmproxy.org/stable/addons-examples/
  image.png

Mock：测试过程中对不太容易构造出来的、不太容易获取到的对象，使用虚拟的对象将其代替，从而达到相同的效果。其中虚拟的对象就称之为Mock。

1. 安装

• mac安装：brew install mitmproxy

• 使用python安装：Python必须是3.6以上版本

  • 在 windows中，以管理员身份运行cmd或power shell命令:
    1. pip install ­­pipx
    2. python3 ­m pipx ensurepath
    3. pipx install mitmproxy

• windows安装：

  1. 去官网下载一个exe，然后安装下一步
  2. exe安装直接帮你配置好环境变量
  3. 可以直接运行mitmweb启动代理服务
  4. 可以直接运行mitmdump

  • 安装之后需要配置环境变量：安装成功的提示中会给出需要配置的目录，将其配置到path环境变量中重启cmd即可

    
    
    image.png

2. 环境验证

• mitmdump --version
  
  image.png

mitmproxy工具

• mitmproxy ->命令行工具（Windows不支持）

• mitmdump ->可以加载Python脚本

• mitmweb ->web界面工具

• 常用参数：

  • -h 进入到帮助界面
  • -p 指定端口号，默认为8080
  • -s 加载Python脚本

1. mitmproxy

• 执行mitimproxy进入到界面

• 使用鼠标滚动上下滑动，使用鼠标点击选择请求进行分析

• 退出界面：按q键

• 代理和证书安装完后进行抓包

  
  
  image.png
  
  
  image.png

2.设置代理

• 方法一：

  • 浏览器SwitchOmega新增一个mitmproxy代理

    
    
    image.png

• 方法二：

  • 设置系统代理：

    • mac：
      image.png

    • Windows：
      image.png

3.安装证书

• 安装ssl证书：https://docs.mitmproxy.org/stable/concepts-certificates/
  • 开启mitmproxy 代理
  • 访问mitm.it安装证书
    
    image.png
    
    
    image.png

4. mitmweb，与Charles相比差远了，了解即可

• 启动：输入mitmweb -p 8999，自动跳转到页面
  
  image.png
  
  
  image.png

5. mitmdump

• 默认监听8080
  • mitmdump
• -p参数修改监听端口
• -s python文件加载python脚本

6. 三个工具的区别

• 要启动 mitmproxy 用 mitmproxy、mitmdump、mitmweb 这三个命令中的任意一个即可，这三个命令功能一致，且都可以加载自定义脚本，唯一的区别是交互界面的不同。
• mitmproxy 命令启动后，会提供一个命令行界面，用户可以实时看到发生的请求，并通过命令过滤请求，查看请求数据。
• mitmweb 命令启动后，会提供一个 web 界面，用户可以实时看到发生的请求，并通过 GUI 交互来过滤请求，查看请求数据
• mitmdump 命令启动后——你应该猜到了，没有界面，程序默默运行，所以mitmdump 无法提供过滤请求、查看数据的功能，只能结合自定义脚本，默默工作。
• 由于 mitmproxy 命令的交互操作稍显繁杂且不支持 windows 系统，而我们主要的使用方式又是载入自定义脚本，并不需要交互，所以原则上说只需要 mitmdump 即可。

mitmdump实战

1. 录制与回放

• 录制：mitmdump -w tmp，-w写入文件tmp
  
  image.png

• 过滤：mitmdump -nr tmp -w tmp2 "~s Insane"，~s只过滤响应中内容，~q只过滤请求中的内容；-n指不启动代理仅过滤文件，-r读取tmp文件中内容，-w写入文件tmp2
  

  image.png
  
  
  image.png

• 回放：mitmdump -nC tmp2，-n值不启动代理，-C对接口请求进行回放
  

  image.png

实现MapLocal，不经过服务器修改请求和响应数据

• 参考网址：https://docs.mitmproxy.org/stable/addons-scripting/

1. 修改header的Python脚本

from mitmproxy import http

def request(flow: http.HTTPFlow):
    flow.request.headers["myheader"] = "feier"
    print(flow.request.headers)

• 在terminal中执行mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\request_demo.py
  
  image.png

2. 修改请求和响应信息的Python脚本

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None:
    # 发起请求，判断 url 是不是预期值
    if flow.request.pretty_url == "https://www.baidu.com/":
        # 创造一个 response 
        flow.response = http.HTTPResponse.make(
            200,  # (optional) status code
            b"Hello World",  # (optional) content
            {"Content-Type": "text/html"}  # (optional) headers
        )

• 在terminal中执行mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\maplocal_baidu.py --ssl-insecure

其中--ssl-insecure是为了防止出现<< Cannot establish TLS with 10.66.253.120:443 (sni: None): TlsException('Cannot validate certificate hostname without SNI')的错误，此错误会让状态码报502。

image.png

3. 修改雪球响应信息

• 要修改的接口

  
  
  image.png

• Python文件

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None:
    # 发起请求，判断 url 是不是预期值
    if "quote.json" in flow.request.pretty_url:
        # 打开一个保存在本地的文件
        with open("path/quote.json") as f:
        # 创造一个 response
            flow.response = http.HTTPResponse.make(
                200,  # (optional) status code
                f.read(),  # (optional) content
                {"Content-Type": "application/json"}  # (optional) headers
            )

• 在terminal中执行脚本mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\maplocal_xueqiu.py
• 使用curl http://ww.baidu.com/xxx/queto.json -x 127.0.0.1:8999，模拟一次请求，看返回是不是queto.json的内容
  
  image.png

• 刷新页面，查看响应信息

  
  
  image.png

• 在本地修改queto.json文件，再刷新页面，实现maplocal
  image.png

实现Rewrite，修改从服务器拿到的响应数据

• 参考网址：https://docs.mitmproxy.org/stable/addons-events/
• 查看flow.response打印内容

from pprint import pprint
from mitmproxy import http


def response(flow: http.HTTPFlow):
    pprint(flow.response)

• 在terminal中执行脚本

  
  
  image.png

1. 修改雪球中的“中国平安”为目标值，字典结构如下

   
   
   image.png

2. python文件：

from mitmproxy import http
import json

def response(flow: http.HTTPFlow):
    # 加上过滤条件
    if "quote.json" in flow.request.pretty_url and "x=" in flow.request.pretty_url:
        # 将响应内容转成字典格式
        data = json.loads(flow.response.content)
        # 修改对应字段的值
        data["data"]["items"][0]["queto"]["name"] = "rewrite_hogwarts"
        # 把修改后的数据转成字符串赋值给原始数据
        flow.response.text = json.dumps(data)

3. 在terminal中执行脚本mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\rewrite_xueqiu.py

4. 刷新页面，查看结果

   
   
   image.png

将修改后的数据赋值给原始数据时，必须使用flow.response.text，因为text才是二进制的流格式，不然脚本会报如下错误：Message content must be bytes, not string.

image.png