防止扫描器扫描攻击方法

第一部分：识别爬虫IP，给爬虫设置障碍；

一、从发现爬虫IP角度：

1. 设置页面隐藏链接：
   1. 正常用户不会点击，因为看不到
   2. 爬虫会爬到，这个时候后台对爬虫IP进行记录，封禁
2. 设置特殊cookie， 通过set-cookie 设置特殊cookie
   1. 正常客户端会在request上带上
   2. 爬虫一般不会
3. 利用访问日志识别扫描器的IP
   1. 人的访问频率低，且不同URL之间间隔时间随机
   2. 机器爬虫的访问频率均匀，即不同URL之间访问间隔时间方差小

二、从设置爬虫陷阱来防御

1. 设置大文件陷阱，消耗爬虫网络IO。

2. 设置大量无效URL，恶意填充爬虫的爬行队列

 JustforYou";
}
?>