我的反爬解决方案(3)——一些站点的反反爬解决方案Demo

在前两篇文章中针对反爬提供了更换代理IP和模拟登陆两个方面的项目。

在第三篇中我打算收集一些常见站点的反爬解决技巧,针对数据的加密、混淆、下毒等反爬手段,涉及的伪技术栈包括JS逆向APP逆向绕过反爬以及一些数据提取接口分享等。

项目地址

Tiring-Spiders站点反爬解决方案集合(长期维护) :https://github.com/IMWoolei/Tiring-Spiders

反爬分类

在这个反反爬解决方案集合中不包括前两篇中的频度反爬Cookies反爬的内容,而是主要在以下几个方面中的反反爬解决方案:

  • 请求参数加密

    通常针对请求体中的一些加密参数,如在URLHeaders中常见的signtoken等校验参数。

  • 响应数据的加密

    部分站点请求得到的数据由于进行了加密等操作是无法直接拿到数据的,提供了数据的解密参考方式。

  • 响应数据的下毒、转换等

    请求的数据在提取时存在提取不完整或不正确,如部分游玩资讯类的数据使用了字体反爬导致无法显示其正确文本,或给了假的数据需要经过换算或额外请求才能拿到正确数据。

  • 其他的一些反爬

    爬虫工程师和反爬设计者本来就是一场魔高一尺,道高一丈的较量,另外会收集一些如session反爬五秒盾等另外的反爬解决Demo

你可能感兴趣的:(逆向,破解,Python,爬虫,反爬)