robots.txt的作用是什么，看完了我默默加在了自己网站上

---

背景

最近在研究网站SEO相关的东西，第一次接触到robots.txt，才发现实际上很多网站都用到了它，尤其是对搜索引擎依赖特别高的C端系统或者网站，是一个必不可少的配置。

通过使用robots.txt文件控制搜索引擎爬虫的访问，可以优化SEO策略。例如，网站中某些页面可能没有足够的价值或含有重复内容，这时可以通过在robots.txt文件中排除这些页面来避免影响SEO排名。此外，通过插入Sitemap指令在robots.txt文件中，可以帮助搜索引擎更好地了解网站架构和内容。

那么如何真正的把robots.txt应用起来，把我们自己的网站SEO上做的更加优化，相信下面的内容值得一看。看之前记得三连一波。

robots.txt的主要作用

robots.txt是一个文本文件，通常位于网站的根目录下，用于告诉搜索引擎蜘蛛（也称爬虫）哪些页面可以被抓取，哪些页面不应该被抓取。它包含了一些指令，用于限制蜘蛛的访问范围，以及提供关于网站内容的其他有用信息。

具体来说，robots.txt的主要作用如下：

• 控制搜索引擎蜘蛛的访问：网站所有者可以通过robots.txt文件控制搜索引擎蜘蛛的访问，以限制蜘蛛只抓取特定的页面或目录，从而避免不必要的带宽消耗和服务器负载。

• 隐藏敏感页面：网站所有者可以使用robots.txt文件来阻止搜索引擎抓取某些敏感页面，例如账户管理、登录等页面，以避免这些敏感页面被搜索引擎收录和暴露在公共搜索结果中。

• 提高SEO效果：通过robots.txt文件，网站所有者可以指示搜索引擎如何处理网站内部链接和外部链接，从而提高SEO效果。

• 给搜索引擎提供重要信息：在robots.txt文件中，网站所有者可以提供其他有用的信息，例如Sitemap的地址、Crawl-delay（抓取时间间隔）、Host等信息，以帮助搜索引擎更好地理解和处理网站内容。

robots.txt文件对于网站所有者来说是一个非常重要的工具，它可以帮助网站实现自己的SEO目标，同时也可以保护敏感的页面不被搜索引擎收录和公开。

使用示范

说了这么多，应该怎么使用呢，一般来说robots.txt直接放置于网站根目录下面，比如说nginx配置的root /usr/share/nginx/html，那么把它放于html文件下即可。并且要求通过域名能够直接访问到它，搜索引擎会解析到这个文件。就能够知道哪些是我们自己网站下面重点需要被收录的网页，哪些是不要被收录的。

User-agent

这个配置项用于指定搜索引擎的蜘蛛类型，可以具体到某个搜索引擎的蜘蛛(如 BaiduSpider，booch，Googlebot等)，也可以使用通配符*代表所有类型的蜘蛛。

User-agent: *
Disallow: /private/

在上面的例子中，*表示所有类型的蜘蛛，Disallow指示不允许搜索引擎抓取/private/目录下的所有页面。

Disallow

这个配置项用于指定不允许搜索引擎抓取的页面或目录。例如：

User-agent: *
Disallow: /admin/
Disallow: /private/

在上面的例子中，不允许搜索引擎抓取/admin/和/private/两个目录下的所有页面。

Allow

这个配置项用于指定允许搜索引擎抓取的页面或目录。和Disallow相反，Allow指示某个目录下的某些页面是允许被搜索引擎抓取的。

Sitemap

这个配置项用于告诉搜索引擎网站地图的位置，以便引导搜索引擎更快地找到网站的所有页面，提高抓取效率。

下面是一个简单综合的robots.txt配置文件示例：

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: http://www.example.com/sitemap.xml

上面的示例中，*表示所有类型的蜘蛛，Disallow指示不允许搜索引擎抓取/admin/和/private/两个目录下的所有页面，Allow指示/public/目录下的页面可以被搜索引擎抓取，Sitemap指示网站地图的位置。

---

总结

以上就是本篇所讲解的内容，robots.txt的作用是什么，看完了我默默加在了自己网站上，后面会分享更多有深度的相关内容，记得先点个关注不迷路。