淘宝讨厌百度

今天看了一文章说是淘宝网禁止百度蜘蛛,也看了它的截图,心想不会这这么回事吧,我就来来淘宝网,来看下它的robots.txt,果然不假,真的截图一样,就是禁止了百度蜘蛛一爬行,从下面robots.txt中我们可以看到:

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

代表是什么意思你也知道,这就很有意思了,我在百度site下,有93.6万网页,用时0.001s,百度蜘蛛是百度用来抓取各网站内容的一套自动程序,屏蔽百度蜘蛛主要是不想被百度收录,或者担心抓取给服务器带来压力,淘宝这个主动也有这个方面的原因.看来网站太大也有担心的时候,嘿嘿!

你可能感兴趣的:(百度)