CTF解题记录-Web-robots协议(附靶场链接)

题目已经提示的很明显了，这题肯定是有关robots协议，打开题目场景

是一个空白页，在 url后加上/robots.txt 出现页面

再将 url中的 /robots.txt 换成 /f1ag_1s_h3re.php 

 得到flag！

靶场链接：https://adworld.xctf.org.cn/task

知识点补充：Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议也称为爬虫协议、爬虫规则、机器人协议，是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

 Robots协议（爬虫协议、机器人协议）_weixin_34253539的博客-CSDN博客https://blog.csdn.net/weixin_34253539/article/details/86124007#:~:text=Robot,s%E5%8D%8F%E8%AE%AE%E7%9A%84%E5%AE%9A%E4%B9%89