抖音爬虫，当你写爬虫抓不到APP请求包的时候该怎么办？

这篇文章的主要内容是解决在遇到APP没有使用Android自带的HTTP客户端进行请求，并且对HTTP客户端的代码进行了混淆，导致通用工具JustTrustMe失效的问题。而中级篇中除了JustTrustMe以外的所有方法也都会对这种情况束手无策，原因是中级篇中的1、3、4方法本质上针对的是Android 7.0+系统增加的SSL Pinning方案，而无法对各个HTTP客户端自己实现的检测方案生效。（听说有个叫车速拍的APP就是这种类型呢）
那么应该怎么做才能抓到这类APP的包呢？很简单，依然是使用JustTrustMe之类的Hook工具就好了，只不过我们需要针对混淆后的名字对原来Hook的部分进行特殊处理。

---

这里我专门写了一个样例APP来进行演示（别抓我，我什么都不知道），这个APP做的事情就是在你点击了按钮之后，对百度首页发起一次请求，但是这个请求在没有破解SSL Pinning的正常情况下是不可能成功的，因为我设置的是一个随便输入的证书哈希，所以在请求的时候会因为正常的证书哈希与我随便输入的哈希不同导致出现请求失败的情况。

Xposed模块管理界面-JustTrustMe已开启

---

我们先来看一下没混淆过代码的版本，装上之后打开它，然后点击“点击发送请求”按钮。

证书验证失败
这次就是证书验证失败了，JustTrustMe并没有正常生效。

---

我们将这两个APK都放到Jadx中反编译一下看看。

修改瘦蛟舞的ObjectionUnpinningPlus脚本
3、魔改JustTrustMe，增加一个可以在运行时根据情况调整每种HTTP客户端的SSL Pinning检测部分的类名和方法名的功能
这个我暂时没空弄，感兴趣的同学可以自己实现一下。
4、魔改JustTrustMe，对Hook部分增加动态适配功能，做到即使开发者对代码进行了混淆也能自动找到真实的检测类和方法
同上，实现方式可以参考微信巫师框架部分的自动适配代码，实现以后理论上来讲是最方便的办法之一，因为是完全自动的操作，不需要人工介入。
5、修改反编译APP得到的代码再打包回去
我觉得应该没人会用这么蠢的办法吧...用Hook的方式做起来要方便太多了。
选择任意一种方法操作后，再打开混淆版本的APP就可以正常请求了。

---

这时候可能会有同学要问了，怎么样知道APP用的是哪个HTTP客户端？又怎么样快速定位混淆后的检测方法位置呢？
很简单，我们先关掉破解工具，连上代理然后抓个包看看混淆版本APP的请求。

User-Agent部分
和平时遇到SSL Pinning的情况一样，这里只会抓到一个CONNECT请求，注意右边的headers，从User-Agent中可以看出这个APP使用的是okhttp3，那么我们在混淆后的代码中定位检测部分代码的位置时，就只需要对照着okhttp3的原始代码来找就好了（其他HTTP客户端同理）。当然了，也不排除有些APP会把User-Agent改掉，如果从User-Agent上看不出来的话，那就看一下反编译出来的源代码部分结构，看看有没有像okhttp3之类的这种特别明显的HTTP客户端的名字，有的话就把它干掉就好了。


——————————————————————————————————————————

TiToData：专业的短视频、直播数据接口服务平台。

更多信息请联系： TiToData

覆盖主流平台：抖音，快手，小红书，TikTok，YouTube