爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)

目录

  • 写在前面
  • 配置安装Charles
    • 安装Charles
    • 下载相关证书
      • 电脑证书:
      • 手机证书:
        • 设置代理
  • 实操案例:抓取手机APP爱吾游戏宝盒数据

写在前面

移动App多使用异步的方式从服务端获取数据,抓取数据之前,要先分析移动App用于获取数据的URL,然后才可以使用requests等网络库去抓取

本章的主要内容:
    1、抓取App数据的原理
    2、Charles和mitmproxy
    3、在PC上安装整数,以及移动端安装和信任整数
    4、在手机端设置代理
    5、监听HTTP/HTTPS数据
    6、编辑请求信息
    7、mitmweb的基本使用方法
    8、如何结合mitmdump与mitmweb编写实时Python爬虫

配置安装Charles

安装Charles

链接: Charles官方下载网址.
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第1张图片
博主安装的是Windows版本

下载相关证书

电脑证书:

安装Charles后,进行如下操作
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第2张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第3张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第4张图片

手机证书:

设置代理
  1. 设置SSL代理设置
    爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第5张图片
    爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第6张图片
  2. 设置与手机的代理

爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第7张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第8张图片
下面为OPPO手机设置代理方式:

1. 手机连上电脑的wifi

爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第9张图片

2. 使用cmd->ipconfig获取电脑的ip地址

爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第10张图片

3.设置手机的代理

爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第11张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第12张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第13张图片
设置成功后,进入浏览器等待一下,会出现如下的选项对话框,点击Allow即可
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第14张图片
此时代理设置成功,但是主要任务还没有做,前面都是必要的手续
在浏览器输入chls.pro/ssl
即可下载Charles所需的证书
设置为信任即可
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第15张图片
到此为止,电脑、手机证书和代理都完毕。

实操案例:抓取手机APP爱吾游戏宝盒数据

首先,清空其中的条目,因为Charles不仅再抓取手机的包,还在抓取电脑的包,电脑暂时不要访问页面或者打开应用,否则会弹出别的条目干扰。
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第16张图片
此时我的手机打开了爱吾游戏宝盒,就弹出了好多条目,只需要找到哪一个条目中的数据是你需要的,保存url调用requests库请求url即可,接下来就是解析的工作等等。
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第17张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第18张图片
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第19张图片
确定了内容是需要抓取的后,开始编写python爬虫
爬虫高级应用(15. 基于Charles抓包软件抓取手机APP数据)_第20张图片
需要把上面response返回的Contents作为data加入编码中

import requests
# data从request的Text中获取
data = '''Serial=ffffffff-d2d2-eaad-ffff-ffffef05ac4a&VersionCode=2309&UserId=8224CBEB9F5FF772&isLogin=1&Page=1&TagName=
%E8%A7%92%E8%89%B2&TagId=1&Style=0&Time=1644220741&Sign=3b94ec9cd4b81ff5d76c2acb00c649e8'''
headers = {
    'accept-language':'zh-CN,zh;q=0.8',
    'user-agent':'okhttp-okgo/jeasonlzy',
    'content-type':'application/x-www-form-urlencoded',
    'Host':'service.25game.com'
}
# 抓取角色游戏信息--失败
# 无法解析:实时获取的数据
response = requests.post('https://service.25game.com/v2/App/AppList.aspx',headers=headers,data=data)
print(response.text)
# 抓取用户信息(成功)
data = '''Serial=ffffffff-d2d2-eaad-ffff-ffffef05ac4a&VersionCode=2309&UserId=8224CBEB9F5FF772&isLogin=1&Time=1644220737&Sign=127929932b6de290fe6ac0585bcfd054'''
response = requests.post('https://service.25game.com/v2/User/UserInfo.aspx',headers=headers,data=data)
print(response.text)
# 抓取移植游戏列表(成功)
data = '''Serial=ffffffff-d2d2-eaad-ffff-ffffef05ac4a&VersionCode=2309&UserId=8224CBEB9F5FF772&isLogin=1&Page=1&Time=1644221449&Sign=c960123b24a715860970f0263f0d6ec3'''
response = requests.post('https://service.25game.com/v2/DiyPage/EmuGame.aspx',headers=headers,data=data)
print(response.text)

注意:像某东JD这种应用大多还需要手机APP登录后的Cookie,同样,Charles可以获取cookie,别忘了在python爬虫中加入到请求头中。

你可能感兴趣的:(高级爬虫案例教程,python,爬虫,代理模式,json)