python爬虫混肴DES案例:某影视大数据平台

声明:
该文章为学习使用,严禁用于商业用途和非法用途,违者后果自负,由此产生的一切后果均与作者无关

一、找出需要加密的参数
  1. js运行atob(‘aHR0cHM6Ly93d3cuZW5kYXRhLmNvbS5jbi9Cb3hPZmZpY2UvQk8vTW9udGgvb25lTW9udGguaHRtbA==’) 拿到网址,F12打开调试工具,点击票房日期下拉筛选,找到 API/GetData.ashx 请求
  2. 分别切换headers、payload、preview,会发现 header、payload中没有经过特别处理的字段,preview 响应结果加密
    python爬虫混肴DES案例:某影视大数据平台_第1张图片
  3. 鼠标右击该请求找到Copy>Copy as cUrl(cmd),打开网站:https://spidertools.cn/#/curl2Request,把拷贝好的curl转成python代码
    python爬虫混肴DES案例:某影视大数据平台_第2张图片
  4. 新建yien.py文件,把代码复制到该文件内
二、定位参数加密位置
  1. 由于加密的header是动态生成的,显然使用关键字搜索无法定位到,直接切换到sources,添加XHR拦截 API/GetData.ashx
    python爬虫混肴DES案例:某影视大数据平台_第3张图片
  2. 点击票房日期下拉筛选重新发送请求,看栈列表发现栈很少,可以先点点看,点到 PostApi 会发现请求的接口,且返回的结果在 sucess 回调函数中已经处理,打个断点
    python爬虫混肴DES案例:某影视大数据平台_第4张图片
  3. 重新发送请求,点击跳过断点调试,直到看见请求的接口,会发现 e 是加密后的响应结果,经过 webInstace.shell 处理,鼠标悬浮到 webInstace.shell 点击蓝色部分,定位到该函数
    python爬虫混肴DES案例:某影视大数据平台_第5张图片
  4. 进到该文件后,在if 和 else 中都打上断点,然后重新发送请求,点击跳过断点,找到刚才大的断点会发现进入了 else 断点,鼠标悬浮 _0x2246(‘0x25d’, ‘E&PI’) 上会发现是 DES 算法
    python爬虫混肴DES案例:某影视大数据平台_第6张图片
  5. 新建 yien.js,把整个代码复制到 yien.js
  6. 验证结果,把 e 输出到控制台,复制打印结果,修改 js 运行后,会发现报错
    python爬虫混肴DES案例:某影视大数据平台_第7张图片python爬虫混肴DES案例:某影视大数据平台_第8张图片
  7. 在控制台分别输出 !navigator 、!navigator[_0x2246(‘0x26d’, ‘0I#o’)] 会发现都是 false,找到 yien.js 的 2238 行修改js,再运行 js 发现解密成功
    python爬虫混肴DES案例:某影视大数据平台_第9张图片在这里插入图片描述python爬虫混肴DES案例:某影视大数据平台_第10张图片
三、验证结果
  1. 修改 yien.py,运行该文件,会发现 UnicodeDecodeError 错误
    在这里插入图片描述在这里插入图片描述python爬虫混肴DES案例:某影视大数据平台_第11张图片
  2. 解决 UnicodeDecodeError 错误,再次运行 yien.py 发现响应结果解密成功
    在这里插入图片描述
    python爬虫混肴DES案例:某影视大数据平台_第12张图片

你可能感兴趣的:(python,python,爬虫)