APP爬虫：mitmproxy 获取 京东APP 数据

配置 mitmproxy

参见本博另一篇文章：[爬虫]使用mitmproxy抓包手机APP的配置步骤

编辑 script.py 文件

• script.py 是用来处理 mitmproxy 获取到的 request 和 response 的 .py 脚本；
• 用户根据业务需求，在该文件中 筛选、处理 request 和 response ；
• 本文模拟的获取 京东APP 数据，需要筛选出 url 包含 jd 字符的 请求和响应；

import json
from urllib.parse import unquote
import re

def response(flow):
    # 提取请求的 url 地址
    request_url = flow.request.url
    # 通过 jd 字符串，过滤出 京东APP 的请求和返回数据
    if bool(re.search(r"jd", request_url)):     
        print("request_url >>> ", request_url)
        response_body = flow.response.text
        response_url = flow.request.url
        print("response_url >>> ", response_url)
        data = json.loads(response_body)
        ware_infos = data.get("wareInfo")
        goods_info = {}
        if ware_infos is not None:
            for ware_info in ware_infos:
                goods_info["wareId"]    = ware_info.get("wareId")
                goods_info["wname"]     = ware_info.get("wname")
                goods_info["jdPrice"]   = ware_info.get("jdPrice")
                goods_info["goodrate"]  = ware_info.get("good")
                goods_info["reviews"]   = ware_info.get("reviews")
                goods_info["shopId"]    = ware_info.get("shopId")
                goods_info["ShopName"]  = ware_info.get("goodShop").get("goodShopName")
                print(goods_info)

运行 script.py 文件

• 进入 script.py 文件所在文件夹

cd /XXX   # 进入 script.py 文件所在文件夹
mitmdump -s script.py

image.png

启动 京东APP

注意：如果手机尚未配置好，请参考本博另一篇文章：[爬虫]使用mitmproxy抓包手机APP的配置步骤

• 启动 APP
  启动 京东APP 后，命令行窗口得到下图所示返回信息，数据获取成功。

  
  
  image.png