对于手机app的抓取

由于目前没有掌握对于手机app的脱壳和反编译,只能使用中间代理的方式来获取想要的数据。而且市面上一些火爆的app可以检测到代理并且屏蔽,所以这种方式适用于没有屏蔽代理的app。适合刚接触app数据抓取的新手来练习。

首先我们使用fiddler抓包,通过抓包找到数据的接口,然后使用mitmdump来截获接口获得数据,mitmdump的启动方式 mitmdump -s xxx.py -p 端口号 就可以使用我们的爬虫文件爬到数据。mitmdump配置方式和手机上配置fidller的方式一样,这里就不多做说明了。这里我们爬虫的请求方式也不太一样,这里我有个抓取某音关键词搜索的示例,如图所示:


因为我使用的是6.3.0版本的,因为高版本的都屏蔽代理了。所以还是能拿到数据的,这里我们的url不需要任何参数,但是这种方式我们需要对于软件的不停滑动来截取接口,对于数据不多的手动操作几分钟可以完成,数据量大的话可以搭配appmiu来实现自动化操作。

你可能感兴趣的:(对于手机app的抓取)