不被搜索引擎收录

有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，

User-agent: *
   Disallow: /

另一个是The Robots META标签。

默认是all

其中的属性说明如下：

设定为all：文件将被检索，且页面上的链接可以被查询；

设定为none：文件将不被检索，且页面上的链接不可以被查询；

设定为 index：文件将被检索；

设定为follow：页面上的 链接可以被查询；

设定为noindex：文件将不被检索，但页面上的链接可以被查询；

设定为nofollow：文件可以被检索，但是页面上的链接不可以被查询。