得物app 数据分析

爬虫高阶实战

  • 爬虫思路
    • 主要部分是加解密这块

爬虫思路

这些数据都在app里面,没有网页那么简单,这边我们主要是要获取移动端的, 思路有两块:一个app 一个是微信小程序

因为某些需要获取一些app里面得数据,比较复杂,
1.如果从app入手的话 需要反编译app 获取参数的加解密函数
首先准备好逆向所需的工具,我这边使用apktool、jd-ui、dex2jar, 也有用过fakeandroid,反正都是工具。
2.如果从小程序入手的话 需要反编译微信小程序
另外还要弄下charlse抓包来分析

主要部分是加解密这块

直接上代码吧

##############################  加解密签名等  #########################
def dewu_jsfun():
    """
    execjs编译加解密的js文件
    :return:
    """
    with open(os.path.dirname(os.path.realpath(__file__)) + r'\\dewudata.js', 'r', encoding='utf-8') as f:
        js_code = f.read()

    dewu_js = execjs.compile(js_code)
    return dewu_js

最近手头有点事,先这样 有需要可以加我微信longwudage

你可能感兴趣的:(数据分析,数据挖掘,爬虫)