SEO之robots.txt语义解释

1、robots是一个必须放置在网站根目录下,告诉蜘蛛那些目录可以爬行,那些不能爬行的一个文件,全称是"robots.txt".

2、如何写robots:

  ①禁止所有SE抓去目录:

  

User-Agent:*

Disallow:/目录1/
Disallow:/目录2/
Disallow:/目录3/

  ②禁止某个搜索引擎抓去站点:

  User-agent:Baiduspider

  Disallow:/

  ③直接指定网站地图:

  Sitemap:http://domain/mapsite.xml

To be continue.........

你可能感兴趣的:(robot)