Appium + mitmproxy 全自动化抓取APP 数据

 

 

背景

公司新接到一个某某公司的一个项目需求，其中有一个子项是抓取诸如今日头条、网易新闻、腾讯新闻等新闻类 APP 的新闻，远端根据一个关键词或者一个主账号名称查找获取关于该关键词的所有新闻或主账号下的所有文章，通过简单的抓包分析，发现只有少数 APP 网络请求参数未做签名处理，像这类的能直接分析 url 和 param，利用 python 全自动化获取数据，但是大部分比如网易新闻这类 APP 安全级别较高，参数做了加密或者签名校验，服务端也有同一签名的请求访问次数限制，所以在这样的情况下想要直接获取通过外部调用获取数据几乎变得不可能。

分析

在以上的背景之下，简单分析和调研之后，觉得有以下办法可以获取到那些请求加密的 APP 的数据，如下：

• 逆向分析该 APP，揪出加密方法及对应的逻辑，第三方使用同样的逻辑加密请求参数获取数据；
• 寻找该新闻 APP 在 WEB 端的接口，同样也能获取到数据；
• 对 APP 使用网络代理，使用手机获取新闻，使用中间人攻击（MITM）获取数据 并做对应处理。

这三个方案中，第一种，难度最大，因为了解所有明白，以我的逆向水平暂时达不到，虽然可行，但暂时不考虑；第二种，经验证，很多在 APP 端有的接口在 WEB 端没有，也放弃；第三种，面临几个问题，因为整个过程要全自动化，所以这个操作使用获取新闻的过程要自动，手机获取到新闻后数据抓取的过程要自动，这就意味着不能使用 Wireshark、Charles、Fiddler 等抓包工具人为干预，要解决这两个问题，即要解决这两个问题：

• 使用脚本自动化 UI 操作
• 代理软件能与脚本交互

为解决第一个问题，可以使用Appium，Github主页