II7/IIS8屏蔽YisouSpider蜘蛛

来源:http://www.0531s.com/content-46-1927014-1.html

YisouSpider蜘蛛抓取网页能够导致CPU暴涨,影响其他蜘蛛和用户的访问,多次实验后,发现IIS自带的URL重写可以起到作用。
首先选择需要进行屏蔽的网站,然后打开URL重写。
打开入站规则

打开添加规则,选择请求阻止

点击确定,在新弹出的界面,访问阻止依据中选择用户代理表头

在模式(用户代理标头)中输入:YisouSpider,点击确定,这样就可以组织YisouSpider对本站的请求,CPU使用率骤减。
 

 

你可能感兴趣的:(spider)