Appium抓取app数据

主流APP数据抓取难点：

 

 

1.请求参数加密

                －sign签名，使用sha1加上md5做辅助加密

 

2.请求body加密

                －整个请求体使用DES算法做加解密

 

3.代理检测反爬

                －抓包设置代理后，直接不再加载数据

 

4.私有CA证书反爬

                －由于公有的证书需要付费，有一些厂商（oppo）的证书为私有

 

 

 

解决办法：

 

一、暴力解决：

针对以上问题，暴力解决的方式就是一切不予解决，直接以侵入webview的方式获取数据。

 

优点：直接，简单，暴力

缺点：依赖appium环境，整套环境搭建安装起来还是比较麻烦，抓取效率低下

 

二、破解sign签名：

反编译源码进行动态调试，然后利用

 

优点：  抓取效率高

缺点：破解成本高，反编译浪费时间，成功概率较小，非常麻烦，需要看和调试代码

 

 

 

项目示例：（oppo软件商店抓取）

 

传统抓取方式的表现：

    按照传统步骤charles抓包，发现进入app详情和评论页面的时候出现CA证书无法加载!

 

分析问题：

    https是需要SSL认证的，所以去去请求的时候会带着CA证书来鉴定请求是否安全，对于

    一些比较重视安全的企业来说，app内置的CA证书就够用了，但是 发现oppo软件商店这

    款应用比较奇葩，CA证书是自己签发的，这样必须得绕过认证

 

解决CA自签发证书问题：

    那么解决方法就是不带https就好了，在模拟器中，安装以下内容

            Xposed框架     ——>  加载第三方模块库来侵入系统达到可自定制需求的目的

                需要做的事情：

                    1.模拟器需要root

                    2.在模拟器上安装xposed框架app

                    3.进入Xposed  app , 点击安装，完成之后可能卡死，重启就好

 

            JustTrustMe    ——>  安装

            SSLSping         ——>  安装

            这两个模块下载完成后，进入Xposed app选择模块，导入这两个模块后重启即可   

    这样就不再走https了，自然绕过了CA认证！

 

 

然后再通过传统的方式去抓包：

       抓取的结果如下：

            

 

 

发现问题：

        1. sign签名

        2.数据返回格式是x-protostuff （序列化协议）

        

 

解决问题（方式二：基于反编译源码动态调试）： 

        破解app(这个在之后再做仔细的分析)

        

        1.下载apk，修改后缀为zip,解压之后拿到dex文件（dalvik虚拟机字节码，相当于java的class文件），使用apktool反编译dex2jar转化为jar文件（将smali代码转化为class文件，一般会有针对变量和方法名的混淆) , 再使用jd-GUI打开jar文件，这样就可以看到基本的代码了，但是仅仅只是看到代码而已，距离研究分析破解而言才刚刚开始。

 

 

       2.动态调试需要和反编译需要安卓环境的支持，这里暂时不做说明和实践。

 

 

 

 

解决问题（方式一：基于appium）：

        appium是一款自动化测试移动端的工具，可以获取app的视图，那么问题就很好解决了。

 

        环境下载安装与配置

        1.安装appium-desktop ，下载后安装即可

        2.安装adb工具  (3个文件：adb.exe, xxxx.dll,xxxxx.dll) 将这三个文件放在c盘下的Windwos目录下

            都复制到System32 和SysWow目录下，最后在控制台输入adb命令就可以用了

        3.打开模拟器，打开开发者调试模式，进入系统的版本号，点击5次即可打开

        4.使用adb命令连接模拟器，adb connect 127.0.0.1:xxxx   

                   逍遥模拟器是21503

                   夜神模拟器是62001

                最后使用adb devices -l 查看连接的设备应该可以看到模拟器的设备名称

        5.下载Android idk环境，由于新版本（25.2+）的Android sdk会出现命令过时的情况，所以下载低版本的比较好

           下载完成之后配置android_home环境变量到Path下即可，这样可以在终端直接运行android sdk命令

        6.在终端运行android sdk 命令，下载那些sdk. 完成之后即可

        

        创建appium session:

        1.appium创建127.0.0.1的host

        2.配置参数如下json:

 

{

  "platformName": "Android",

  "platformVersion": " 4.4.4”,       ——> 模拟器android版本号

  "appPackage": "com.oppo.market”,         ——> main入口类位置

  "appActivity": "com.oppo.market.activity.MainActivity”,      ——>入口的activity

  "deviceName": “127.0.0.1:21503”,              ——>模拟器的host与端口

  “app": “c://xxxxx”               —> 模拟器app的位置

}

 

设置完成之后就可以看到app视图了，这样就可以拿数据了

                

 

怎么拿数据呢？

        appium提供不同版本的代码支持，可以调用seleium相关的api直接获取元素

    

 

依赖：appium => 

 

pip install Appium-Python-Client

 

 

方案架构图：

 

                                 请求                                                                代理请求发送

代码client        ————————>  appium-desktop-server   ————————>   adb server  ————>  app

 

 

可以看到，整个请求链经过了好几层转换，所以环境搭建是相对较难的，但是理清晰了还是很直接的。