APP反爬并且通讯加密了怎么办?

之前我的朋友接到了一个爬虫私活,佣金一顿晚餐。任务的困难在于没有网页版的,没法用常见的八爪鱼之类的爬取,但是承诺了的事情就要办到,于是我们一起研究这个问题。

遇到的问题

  1. 没有网页版的有app版本的
    于是电脑上安装夜深模拟器,使用抓包工具来爬
  2. 抓包工具都用上了,发现https通信的
    想办法获取证书,然后似乎问题解决了
  3. 发现所有的报文找不到要爬的内容,非常诡异
    换了好几个抓包工具,都不行,于是猜测经过了特殊处理,反爬等级较高
  4. 上述都不行,于是想造轮子,自动识别图像
    想法是:安卓开发工具ADB来操作app,包括点击滚动屏幕,截图,然后用图像识别技术来识别可见的文字
    于是去谷歌搜了一下这个方案,竟然已经有人做了,震惊!!!!
    有个工具叫做: Airtest,给予它可以完成上述开发,并且还可以实现别的骚操作[/斜眼笑]
    https://www.kingname.info/2019/01/19/use-airtest/

你可能感兴趣的:(工具性软件的使用,数据挖掘)