屏蔽不需要的蜘蛛节省服务器资源

 
  

屏蔽不需要的蜘蛛节省服务器资源_第1张图片

最近我一直在实时观察日志,发现了很多国外的蜘蛛在抓取我的网站,这些搜索引擎不会带来流量,而且浪费我的服务器的资源,于是决定屏蔽

屏蔽的蜘蛛

AhrefsBot 通过抓取网页建立索引库,并提供反向链接分析和服务 dotbot 在线营销分析软件 MJ12bot 英国搜索引擎 Deusu 个人的项目一个搜索引擎 grapeshot 这家公司好像也是分析网站用的

屏蔽方式

在robots.txt目录下添加下面的代码,添加之后在百度站长平台检测一下robots是否正确 User-agent: AhrefsBot Disallow: / User-agent: dotbot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DeuSu Disallow: / User-agent: grapeshot Disallow: /

QQ交流群:136351212 查看原文: http://www.phpsong.com/2272.html

你可能感兴趣的:(屏蔽不需要的蜘蛛节省服务器资源)