爬虫逆向实战(二)--某某观察城市排行榜

一、数据接口分析

主页地址:某某观察

1、抓包

通过抓包可以发现数据接口是multi
爬虫逆向实战(二)--某某观察城市排行榜_第1张图片

2、判断是否有加密参数

  1. 请求参数是否加密?
  2. 请求头是否加密?
  3. cookie是否加密?
  4. 响应数据是否加密?
    通过查看“响应”板块可以发现响应数据是加密的
    爬虫逆向实战(二)--某某观察城市排行榜_第2张图片

二、解密位置定位

1、看启动器

查看启动器发现里面包含异步,所以无法正确找到解密位置
爬虫逆向实战(二)--某某观察城市排行榜_第3张图片

2、hook

因为响应加密数据一般都是json数据加密,所以解密后会使用JSON.parse进行解密,所以我们可以对JSON.parse进行hook。
hook代码段:

var my_parse = JSON.parse;
JSON.parse = function (params) {
    debugger
    console.log("json_parse params:",params);
    return my_parse(params);
};

运行hook代码,再次点击翻页,发现有明文参数传入
爬虫逆向实战(二)--某某观察城市排行榜_第4张图片
往下执行,可以发现是在响应拦截器中对数据进行的解密
爬虫逆向实战(二)--某某观察城市排行榜_第5张图片

三、扣js代码

在响应拦截器中可以发现,该网站解密是用的标准AES模块进行的解密
爬虫逆向实战(二)--某某观察城市排行榜_第6张图片
所以我们只需要跟代码找到密钥就可以使用标准AES模块进行解密了
源代码:

var CryptoJS = require('crypto-js')

function tripleAesDecrypt(srcs) {
    var aesKey = 'QV1f3nHn2qm7i3xrj3Y9K9imDdGTjTu9'
    var key = CryptoJS.enc.Utf8.parse(aesKey),
        decrypted = CryptoJS.AES.decrypt(srcs, key, {
            mode: CryptoJS.mode.ECB,
            padding: CryptoJS.pad.Pkcs7
        });
    return decrypted.toString(CryptoJS.enc.Utf8);
}

你可能感兴趣的:(爬虫逆向实战,爬虫,python)