搜索引擎是否应该有点公德心

我摘的服务器最近遇到点问题,访问稍微一大,机器就过热,会频繁重启。这维护期间,通过netstat看到大量来自Yahoo的爬虫在爬我的服务器。爬虫使用不同的域名和服务器,大量的爬内容。粗略一看,有多大数百个访问请求。
把IIS一停,CPU消耗立马下来,只要是上,就猛然上升。雅虎也不知道是不是吃错药了,疯狂的爬服务器,几乎与DDOS攻击无益。
因为使用很多服务器,很多IP地址,所以,如果想禁止IP,都要累死你,而且你禁一个,人家补上10个。
在这方面,GOOGLE就非常好,一般就看到它只放出三个爬虫,很“低调”。
操,雅虎这个SB搜索引擎,就不能高抬一下鬼手?放我服务器一条生路?

本文出自 “网络新势力” 博客,转载请与作者联系!

你可能感兴趣的:(搜索引擎,职场,休闲)