yandex robots txt

robots.txt 是一个包含网站索引参数的文本文件，供搜索引擎的机器人使用。

Yandex 支持具有高级功能的 Robots Exclusion 协议。

当抓取一个网站时，Yandex 机器人会加载 robots.txt 文件。如果对该文件的最新请求显示某个网站页面或部分被禁止，机器人就不会索引它们。

Yandex robots.txt 文件的要求

Yandex 机器人可以正确处理 robots.txt，但是需要满足以下要求：

文件大小不超过 500KB。
它是一个名为 "robots "的TXT文件， robots.txt。
该文件位于网站的根目录中。
该文件可供机器人使用：托管网站的服务器以 HTTP 代码回应，状态为 200 OK。检查服务器的响应

如果文件不符合要求，该网站被认为是开放索引的，也就是 Yandex 搜索引擎可以任意访问网页内容。

Yandex 支持从位于一个网站的 robots.txt 文件重定向到位于另一个网站的文件。在这种情况下，目标文件中的指令被考虑在内。这种重定向在移动网站时可能很有用。

Yandex 访问 robots.txt 的一些规则

在 robots.txt 文件中，机器人会检查以 User-agent: 开头的记录，并寻找字符 Yandex（大小写不重要）或 *。如果 User-agent: Yandex 字符串被检测到，User-agent: * 字符串会被忽略。如果 User-agent: Yandex和 User-agent: * 字符串未被发现，机器人将被视为具有无限的访问权限。

你可以为 Yandex 机器人输入单独的指令。

例如下面的一些示例：

User-agent: YandexBot # 用于索引爬虫的写法
Disallow: /*id=

User-agent: Yandex # 将会对所有 YandexBot 起效
Disallow: /*sid= # 除了主要的索引机器人

User-agent: * # 对 YandexBot 不会起作用
Disallow: /cgi-bin

根据标准，你应该在每个 User-agent 指令前插入一个空行。＃字符指定了注释。在这个字符之后的所有内容，直到第一个换行，都将被忽略。

robots.txt Disallow 与 Allow 指令

Disallow 指令，使用此指令禁止索引站点部分或单个页面。例子：

包含机密数据的页面。
带有站点搜索结果的页面。
网站流量统计。
重复页面。
各种日志。
数据库服务页面。

下面是 Disallow 指令的示例：

User-agent: Yandex
Disallow: / # 禁止对整个网站进行抓取

User-agent: Yandex
Disallow: /catalogue # 禁止抓取以 /catalogue 开头的页面。

User-agent: Yandex
Disallow: /page? # 禁止抓取含有参数的 URL 的页面

robots.txt Allow 指令

该指令允许索引站点部分或单个页面。下面是示例：

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# 禁止索引任何页面，除了以'/cgi-bin'开头的网页

User-agent: Yandex
Allow: /file.xml
# 允许索引 file.xml 文件

robots.txt 组合指令

相应的用户代理块中的 Allow 和 Disallow 指令会根据 URL 前缀长度（从最短到最长）进行排序，并按顺序应用。如果有几个指令与一个特定的网站页面相匹配，机器人会选择排序列表中的最后一个指令。这样，robots.txt 文件中指令的顺序就不会影响机器人使用它们的方式。

# robots.txt 文件示例:
User-agent: Yandex
Allow: /
Allow: /catalog/auto
Disallow: /catalog

User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# 禁止索引以 '/catalog' 开头的页面
# 但是可以索引以 '/catalog/auto' 开头的页面地址

总结

以上是关于 Yandex 爬虫对于 robots.txt 的一些规则写法，可以通过指定配置，允许或禁止 Yandex 爬虫抓取或禁止抓取页面。