编写简单Robot.txt

编写Robot.txt的目的主要是问了限制搜索引擎爬虫对网页的爬取,告知爬虫不要 爬取该网页。

禁止爬虫爬取的单位一般是目录,即不容许爬虫爬取整个目录下的文件,此时robot.txt的

书写方法如下:

User-agent:爬虫名称

Disallow:/css/

Disallow:/temp/

几个搜索引擎的爬虫名称:

           搜索引擎名称         爬虫名称

            Google             Googlebot

            Baidu               Baiduspider

            MSN                 MSNBOT

如果只是禁止某一个网页被爬取,可以在一个网页中添加如下内容:

如果不希望爬虫爬取网页所包含的链接,可以添加以下内容:

你可能感兴趣的:(Robot.txt)