淘宝与腾讯的robots.txt解析

淘宝与腾讯的robots.txt解析#

淘宝的robots.txt

• User-agent: Baiduspider
  Allow: /article
  Allow: /oshtml
  Allow: /wenzhang
  Disallow: /product/
  Disallow: /
  允许Baiduspider爬寻article、oshtml、wenzhang整个目录，禁止爬寻product目录下面的目录。其它禁止访问。

• User-Agent: Googlebot
  Allow: /article
  Allow: /oshtml
  Allow: /product
  Allow: /spu
  Allow: /dianpu
  Allow: /wenzhang
  Allow: /oversea
  Disallow: /
  允许Googlebot爬寻article、oshtml、product、spu、dianpu、wenzhang、oversea整个目录。其它禁止访问。

• User-agent: Bingbot
  Allow: /article
  Allow: /oshtml
  Allow: /product
  Allow: /spu
  Allow: /dianpu
  Allow: /wenzhang
  Allow: /oversea
  Disallow: /
  允许Bingbot爬寻article、oshtml、product、spu、dianpu、wenzhang、oversea整个目录。其它禁止访问。

• User-Agent: 360Spider
  Allow: /article
  Allow: /oshtml
  Allow: /wenzhang
  Disallow: /
  允许360Spider爬寻article、oshtml、wenzhang整个目录。其它禁止访问。

• User-Agent: Yisouspider
  Allow: /article
  Allow: /oshtml
  Allow: /wenzhang
  Disallow: /
  允许Yisouspider 爬寻article、oshtml、wenzhang整个目录。其它禁止访问。

• User-Agent: Sogouspider
  Allow: /article
  Allow: /oshtml
  Allow: /product
  Allow: /wenzhang
  Disallow: /
  允许Sogouspider爬寻article、oshtml、product、wenzhang整个目录。其它禁止访问。

• User-Agent: Yahoo! Slurp
  Allow: /product
  Allow: /spu
  Allow: /dianpu
  Allow: /wenzhang
  Allow: /oversea
  Disallow: /
  允许Yahoo! Slurp爬寻product、spu、dianpu、wenzhang、oversea整个目录。其它禁止访问。

• User-Agent: *
  Disallow: /
  禁止所有搜索引擎访问网站的任何部分

腾讯的robots.txt

• User-agent: *
  Disallow:
  允许所有的robot访问