反反爬虫的招数

前言

想了解反反爬虫，首先的知道“反爬虫“，然后对症下药。

---

什么是反爬虫？

忠告：

There is no magic solution to avoid automatic crawling. Everyting a human can do, a robot can do it too. There are only solutions to make the job harder, so hard that only strong skilled geeks may try to pass them

• 1、通过并发识别爬虫

  有些爬虫的并发是很高的，统计并发最高的IP，加入黑名单（或者直接封掉爬虫IP所在C段）

• 2、通过UA 识别爬虫

  有些爬虫的UA是特殊的，与正常浏览器的不一样，可通过识别特征UA，直接封掉爬虫请求

• 3、白名单

• 4、设置IP访问频率，如果超过一定频率，弹出验证码

  如果输入正确的验证码，则放行，如果没有输入，则拉入禁止一段时间，如果超过禁爬时间，再次出发验证码，则拉入黑名单.
  当然根据具体的业务，为不同场景设置不同阈值，比如登陆用户和非登陆用户，请求是否含有refer

• 5、请求的时间窗口过滤统计
  爬虫爬取网页的频率都是比较固定的，不像人去访问网页，中间的间隔时间比较无规则，所以我们可以给每个IP地址建立一个时间窗口，记录IP地址最近12次访问时间，每记录一次就滑动一次窗口，比较最近访问时间和当前时间，如果间隔时间很长判断不是爬虫，清除时间窗口，如果间隔不长，就回溯计算指定时间段的访问频率，如果访问频率超过阀值，就转向验证码页面让用户填写验证码

• 6、限制单个ip/api token的访问量
  比如15分钟限制访问页面180次，具体标准可参考一些大型网站的公开api，如twitter api，对于抓取用户公开信息的爬虫要格外敏感

• 7、蜜罐资源

• 爬虫解析离不开正则匹配，适当在页面添加一些正常浏览器浏览访问不到的资源，一旦有ip访问，过滤下头部是不是搜素引擎的蜘蛛，不是就可以直接封了。比如说隐式链接.

• 8、识别出合法爬虫

  对http头agent进行验证，是否标记为google、百度的spider，严格一点的话应该判别来源IP是否为google、baidu的爬虫IP，这些IP在网上都可以找到。校验出来IP不在白名单就可以阻止访问内容。

• 9、爬虫的行为特征

  爬虫一般不抓取css、js等资源文件

• 10、编码格式、请求参数是否符合要求refer

---

后记

道高一尺，魔高一丈，这是一场无休止的战争与进步。

---

参考文档：

• http://my.oschina.net/waterbear/blog/304870

• http://robbinfan.com/blog/11/anti-crawler-strategy

• http://stackoverflow.com/questions/12257584/how-to-detect-fake-users-crawlers-and-curl/12401278#12401278