抖音短视频数据抓取实战系列（六）——Mitmproxy+python编写监测程序

抖音短视频数据抓取实战系列（六）——Mitmproxy+python编写监测程序

项目目录
1、抖音短视频数据抓取实战系列（〇）——前言
2、抖音短视频数据抓取实战系列（一）——模拟器的选择与设置
3、抖音短视频数据抓取实战系列（二）——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列（四）——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列（五）——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列（六）——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列（七）——python连接MySQL数据库
9、抖音短视频数据抓取实战系列（八）——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列（九）——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列（十）——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列（十一）——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列（十二）——抓取实战BUG总集


1、cmd中输入执行mitmdump -p 8900 --set block_global=false开启服务，通过滑动抖音查看可不可以检测到数据。ok。

2、编写监测程序，新建一个py文件并写入如下代码：

import json
#函数名必须这样写 这是mitmdump规则
def response(flow):
    #下面这个网址是通过fiddler获取到的 但是有些数据我们无法解密，所以需要用mitmdump捕获数据包然后做分析\

    if 'aweme.snssdk.com/aweme/v1/user/profile/other/?' in flow.request.url:
        result=json.loads(flow.response.text)
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print("******************************************************************************")
        print(" ")
        print(result)
        print(" ")
        print("******************************************************************************")
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print(" ")

3、cmd开启服务的同时运行代码，运行位置为监测程序父级。
执行命令：

mitmdump -p 8900 --set block_global=false  -s test.py

以下就是博主监测程序抓到的数据

4、现在Mitmproxy已经可以抓取到用户信息数据了，接下来我们要将python连接数据库，并将数据存入数据库。


项目目录
1、抖音短视频数据抓取实战系列（〇）——前言
2、抖音短视频数据抓取实战系列（一）——模拟器的选择与设置
3、抖音短视频数据抓取实战系列（二）——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列（四）——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列（五）——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列（六）——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列（七）——python连接MySQL数据库
9、抖音短视频数据抓取实战系列（八）——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列（九）——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列（十）——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列（十一）——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列（十二）——抓取实战BUG总集