如何禁止同IP站点查询和同IP站点查询的原理分析 Robots.txt屏蔽BINGBOT

很多站长工具中都有“同IP站点查询”、“IP反查域名”这种服务不少人都不知道是什么原理,其实这些服务几乎都是用BING(以前的LIVE)来实现 的,BING有个特别功能 BING抓取页面时会把站点的IP也记录下来,用户可以搜索指定IP下的结果 同IP站点查询就是利用这个实现的,如http://cn.bing.com/search?q=ip:220.181.29.42,这个功能很有用 但很多站长工具都会把结果提交到搜索引擎比较讨厌,如果不希望自己的网站出现在结果中 可以用ROBOTS.TXT拒绝BINGBOT抓取,但已抓取的结果仍然会显示出来,只能等半年后抓取结果过期删除,才能从BING的搜索结果中消失。

========================================

Robots.txt生成器

http://tool.chinaz.com/robots/

 

========================================

User-agent: MSNBot
Disallow: /


User-agent: *
Disallow:


Disallow: /bin/
Sitemap: http://domain.com/sitemap.xml

你可能感兴趣的:(robot)