Robots.text文件 引导搜索引擎收录网站

在网站根目录下还可以创建robots.txt文件,来引导搜索引擎收录网站。

Google蜘蛛 GoogleBot

BaiDu蜘蛛 Baiduspider

MSN蜘蛛 MSNBOT

robots.txt写作语法

允许所有的robot访问

User-agent: *
Disallow:

或者

User-agent: *
Allow:

或者也可以建一个空文件 "/robots.txt" file

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的010203目录)

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

你可能感兴趣的:(搜索引擎,Google)