要实现对这款app数据的爬取,有个关键的环节,就是实现wtoken这个加密参数的生成,而wtoken这个参数是由阿里云的WAF的防护模块控制的,具体实现放在so层,安全系数很高。逆向的思路有2个,一是通过反汇编so层,进而破解其生成逻辑,难度系数大;二是黑盒调用so层逻辑,不管其加密逻辑如何复杂,黑盒调用即可;
本文介绍的是第2种方案,采用AndServer RPC的方式实现,具体来说就是自己开发个app,只实现ibox中wtoken的生成逻辑,将该app安装在真机上,并且对外提供生成wtoken的http服务,然后用python代码脱机实现爬取逻辑即可。
本文的方式可以生成wtoken,但在发起请求后并不能拿到有效数据。在此抛砖引玉,希望知晓的同学不吝赐教。
逆向分析时将app安装在已经root的真机上,真机是个荣耀的古董机,安卓版本7.0,通过数据线跟电脑连接,并且在电脑端可以执行adb命令来操控手机。电脑端执行adb devices
命令后可以看到连接的手机设备就了~
app启动后直接提示 您的手机存在root风险,无法进入主页面。所以第一步就是想办法绕过root检测,只能分析内部判断逻辑,需要先把apk给反编译了。
使用JADX反编译后,发现是个加密的apk,360加固的一代壳。
使用frida_dump工具进行脱壳,项目地址:https://github.com/lasting-yang/frida_dump,项目下载后直接运行以下命令即可。获取到脱壳后的dex,大概会有10多个,再拖入JADX进行反编译即可。
frida -U --no-pause -f com.box.art -l dump_dex.js
注意:前提需要安装好Frida环境,电脑端和手机端都需要安装,并且版本一致。
Frida是基于python和JavaScript的Hook与调试框架,可以把代码插入原生app的内存空间,然后动态的监视和修改其行为。不论是Java层还是Native层逻辑它都可以Hook,在这点上Xposed是甘拜下风的。Frida官网地址:https://github.com/frida/frida。
脱完壳后在JADX中根据关键字 您的手机存在root风险 定位到root判断逻辑,如下:
顺着AppConfig这个腾我们可以梳理出其root判断逻辑这个瓜,具体的就不介绍了。接下来还是使用Frida在内存中修改AppConfig.i这个变量的值为false,绕过root检测。
hook_root_check.js 如下:
Java.perform(() => {
/**
* hook root检测逻结果,绕过root检测
*/
let appConfig = Java.use('com.ibox.libs.common.config.AppConfig')
appConfig.i.value = false
}
)
hook_root_check.py 如下。启动app后执行该python脚本,app进入主页面,成功绕过root检测。
import frida
import sys
CODE = open('hook_root_check.js', encoding='utf-8').read()
# 注意这里的进程名不是包名!
# 要用frida-ps -U查看进程名,如果用adb shell中的ps查询进程名不行!!!
PROCESS_NAME = 'iBox'
def on_message(message, data):
print(message)
process = frida.get_usb_device(1000).attach(PROCESS_NAME)
script = process.create_script(CODE)
script.on('message', on_message)
script.load()
sys.stdin.read()
接下来进行抓包分析,发现请求Header中存在wtoken这个加密的数据,每次请求都会变,直接重新发起请求后会直接返回405报错,甚至有些请求直接返回405,并提示该请求异常,请求的其他参数都没有什么特殊之处,所以问题出在这个wtoken上,接下来盘它!
在JADX中根据关键字定位到相关逻辑,分析后发现这里使用的是阿里云的WAF防护模块。相关介绍可以看这里,这个模块把wtoken的生成逻辑放在so层,由C/C++实现,通过Java的JNI调用native加密函数。这种实现方式的好处是安全性更高,因为反编译后是看不到加密逻辑的,需要反汇编才行,而C/C++代码反汇编后的可读性很差,并且这里的native函数动态注册,反汇编后也不能根据Java层的函数名定位到对应的函数,所以逆向破解的难度就很大。
接下来按照黑盒调用的思路入口。
根据阿里云的WAF模块文档,可以发现这个so模块还可以识别设备特征异常,以下几种方式都可以被检测到,这也就能够解释为什么绕过了root检测后,有些请求还是返回了405被拒绝。
同样,这也意味着采用unidbg的这种黑盒调用方式也行不通了……
也许可以试试AndServer RPC,项目地址:https://github.com/yanzhenjie/AndServer,通过它我们可以开发一个实现了以上so逻辑的app,所以我们把这个app安装在真机上(非root/非hook/非代理/非模拟器……),进而绕过so层的各种检测,把它生成的wtoken通过http服务暴露出来,在电脑上通过python进行调用,完美~
通过对wtoken的生成逻辑和阿里云的接入文档分析,可以发现需要有AliTigerTally.aar和libtiger_tally.so这2个文件,前者用于初始化libtiger_tally.so的运行环境,不过这个包购买阿里云的服务后才下发的,网上是没有这个资源包,好在这是个Java的jar包,可以反编译后获取内容,至于libtiger_tally.so就更好办了,JADX反编译后的文件中可以直接找到。
接下来启动Android Studio开搞,没有什么开发量,就是把原始app中涉及到的类copy过来就行,缺什么类就补什么,环境补通了后运行,发现就可以正常生成wtoken了。
按照官网的文档进行接入,启动一个HTTP服务。
启动成功后,在手机端访问 http://localhost:8080//encrypt?reqbody=123
,就可以获取到wtoken了。不过在电脑上通过python调用还是不行的,因为andserver是运行在手机上的,只有手机能够通过localhost访问,而脚本是在电脑上运行的,配置下端口转发就行。
adb forward tcp:8080 tcp:8080
,执行这个命令后,电脑的8080端口接收到请求后就会被转发到手机的8080端口。
接下来,大家就可以试试了~
说明:在这里可能会遇到 the resource [xxxx] not found
这个问题,andserver升级到最新版,并且jdk升级到11版本,就可以了。具体原因可以看下这个项目的issue。(完)