关于robot.txt

网站能不能被搜索引擎索引到,除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外,还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录。熟练书写robots.txt语法,是每个SEOer所必须掌握的基本技能。SEO研究院曾经写过一篇《SEO七十二案例:Z-Blog优化完全攻略》的具体案例,阐述过如何通过robots.txt来优化Z-blog,大家可以先参考下。
以下robots.txt的语法教学部分的写作参考了一些网络信息,在此SEO研究院表示感谢,写作过程中,有些内容已经老旧,而SEO是不断发展的,因此视情况对其进行了去伪存真以及相关整理。
一、什么是robots.txt文件:
搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等),自动搜集互联网上的网页并获取相关信息。
鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt,网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
二、robots.txt文件的语法:
1、网站URL以及相应的robots.txt的URL
http://www.w3.org/对应http://www.w3.org/robots.txt
http://www.w3.org:80/则对应的是http://www.w3.org:80/robots.txt
下面是一些著名站点的robots.txt:
Google的robots.txt:http://www.google.com/robots.txt
百度的robots.txt:http://www.baidu.com/robots.txt
SEO研究院的robots.txt文件:http://www.dugutianjiao.com/robots.txt
2、robots.txt文件的格式:
robots.txt文件应该包含一条或更多的记录,这些记录通过空行分开。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:
User-agent:
  该项的值用于描述搜索引擎robot的名字,在“robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在“robots.txt”文件中,“User-agent:*”这样的记录只能有一条。
Disallow:
  该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如“Disallow:/help”对/help.html 和/help/index.html都不允许搜索引擎访问,而“Disallow:/help/”则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在robots.txt文件中,至少要有一条Disallow记录。如果robots.txt为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
3、robots.txt文件用法举例:
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
实例分析:淘宝网的 Robots.txt文件
User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Disallow:
例3. 禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问
User-agent: baiduspider
Disallow: User-agent: *Disallow: /
例5.一个简单例子  
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。  
需要注意的是对每一个目录必须分开声明,而不要写成 “Disallow: /cgi-bin/ /tmp/”。  User-agent:后的*具有特殊的含义,代表”any robot”,所以在该文件中不能有”Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
Robot特殊参数:
1. Google
允许 Googlebot:
如果您要拦截除 Googlebot 以外的所有漫游器访问您的网页,可以使用下列语法:
User-agent:
Disallow:/
User-agent:Googlebot
Disallow:
Googlebot 跟随指向它自己的行,而不是指向所有漫游器的行。
“Allow”扩展名:
Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名,因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。
您也可以同时使用“Disallow”和“Allow”。例如,要拦截子目录中某个页面之外的其他所有页面,可以使用下列条目:
User-Agent:Googlebot
Disallow:/folder1/
Allow:/folder1/myfile.html
这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。
如果您要拦截 Googlebot 并允许 Google 的另一个漫游器(如 Googlebot-Mobile),可使用”Allow”规则允许该漫游器的访问。例如:
User-agent:Googlebot
Disallow:/
User-agent:Googlebot-Mobile
Allow:
使用 * 号匹配字符序列:
您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以 private 开头的子目录的访问,可使用下列条目:
User-Agent:Googlebot
Disallow:/private*/
要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:
User-agent:*
Disallow:/*?*
使用 $ 匹配网址的结束字符
您可使用 $ 字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目:
User-Agent:Googlebot
Disallow:/*.asp$
您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可对 robots.txt 文件进行如下设置:
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。
Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。
4、常见搜索引擎机器人Robots名字
百度的蜘蛛名字叫“Baiduspider ”,Google的蜘蛛是“Googlebot”,Yahoo的是“Yahoo!Slurp”,MSN的蜘蛛则是“MSNbot” ,Alexa也有自己的蜘蛛,叫“ia_archiver ”。
5、常见robots.txt错误
颠倒了顺序:
错误写成
User-agent: *
Disallow: GoogleBot

正确的应该是:
User-agent:GoogleBot
Disallow: /

把多个禁止命令放在一行中:
例如,错误地写成
Disallow:/css//cgi-bin//images/

正确的应该是
Disallow:/css/
Disallow:/cgi-bin/
Disallow:/images/

行前有大量空格
例如写成:        Disallow:/cgi-bin/
尽管在标准没有谈到这个,但是这种方式很容易出问题。

404重定向到另外一个页面:
当Robot访问很多没有设置robots.txt文件的站点时,会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题,但是最好能放一个空白的robots.txt文件在站点根目录下。

采用大写
USER-AGENT:EXCITE
DISALLOW:
虽然标准是没有大小写的,但是目录和文件名应该小写,:
User-agent:GoogleBot
Disallow:

语法中只有Disallow,没有Allow!
错误的写法是:
User-agent: Baiduspider
Disallow: /john/
Allow: /jane/

忘记了斜杠/
错误的写做:
User-agent: Baiduspider
Disallow: css

正确的应该是
User-agent: Baiduspider
Disallow: /css/

下面一个小工具专门检查robots.txt文件的有效性:http://www.searchengineworld.com/cgi-bin/robotcheck.cgi。我们可以通过google sitemap中的robots.txt检测工具来检查网站上是否存在robots.txt文件以及该文件写法是否正确。
三、Robots Meta标签

1、什么是Robots Meta标签

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面的中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

2、Robots Meta标签的写法:

Robots Meta标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

index指令告诉搜索机器人抓取该页面;
follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
Robots Meta标签的缺省值是index和follow,只有inktomi除外,对于它,缺省值是index、nofollow。
需要注意的是:上述的robots.txt和Robots Meta标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个ROBOTS都遵守的。
目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于RobotsMETA标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。
Sitemap 网站地图:
对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。
就像这样:
Sitemap:http://www.dugutianjiao.com/sitemap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo和MSN。不过,我们建议还是在Google Sitemap进行提交,里面有很多功能可以分析你的链接状态。
四、Robots.txt利弊分析
robots.txt带来的好处:
1. 几乎所有的搜索引擎Spider都遵循robots.txt给出的爬行规则,协议规定搜索引擎Spider进入某个网站的入口即是该网站的robots.txt,当然,前提是该网站存在此文件。对于没有配置robots.txt的网站,Spider将会被重定向至404 错误页面,相关研究表明,如果网站采用了自定义的404错误页面,那么Spider将会把其视作robots.txt——虽然其并非一个纯粹的文本文件——这将给Spider索引网站带来很大的困扰,影响搜索引擎对网站页面的收录。因此,如果不会写这个文件,建议放一个空的robots.txt文本文件即可。
2. robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽,如email retrievers,这类搜索引擎对大多数网站是没有意义的;再如image strippers,对于大多数非图形类网站来说其也没有太大意义,但却耗用大量带宽。
3. robots.txt可以制止搜索引擎对非公开页面的爬行与索引,如网站的后台程序、管理程序,事实上,对于某些在运行中产生临时页面的网站来说,如果未配置robots.txt,搜索引擎甚至会索引那些临时文件。
4. 对于内容丰富、存在很多页面的网站来说,配置robots.txt的意义更为重大,因为很多时候其会遭遇到搜索引擎Spider给予网站的巨大压力:洪水般的Spider访问,如果不加控制,甚至会影响网站的正常访问。
5. 同样地,如果网站内存在重复内容,使用robots.txt限制部分页面不被搜索引擎索引和收录,可以避免网站受到搜索引擎关于 duplicate content的惩罚,保证网站的排名不受影响。
robots.txt带来的风险及解决:
1. 凡事有利必有弊,robots.txt同时也带来了一定的风险:其也给攻击者指明了网站的目录结构和私密数据所在的位置。虽然在Web服务器的安全措施配置得当的前提下这不是一个严重的问题,但毕竟降低了那些不怀好意者的攻击难度。
比如说,如果网站中的私密数据通过www.yourdomain.com/private/index.html 访问,那么,在robots.txt的设置可能如下:
User-agent: *
Disallow: /private/
这样,攻击者只需看一下robots.txt即可知你要隐藏的内容在哪里,在浏览器中输入www.yourdomain.com/private/ 便可访问我们不欲公开的内容。
2. 如果设置不对,将导致搜索引擎将索引的数据全部删除。下面的代码将禁止所有的搜索引擎索引数据:
User-agent: *
Disallow: /
目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。例如一下代码表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照:
<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>
参考文献:
A Standard for Robot Exclusion:http://www.robotstxt.org/orig.html
禁止搜索引擎收录的方法:http://www.baidu.com/search/robots.html
如何使用robots.txt:http://www.googlechinablog.com/2008/04/robotstxt.html
維基百科Robots.txt:http://zh.wikipedia.org/wiki/Robots.txt
首发地址:http://www.dugutianjiao.com/post/seo-robots-txt.html ,转载请保留链接。

你可能感兴趣的:(搜索引擎,google,yahoo,archive,url,百度)