分析Robots协议

Robots协议也称作爬虫协议、机器人协议、它的全名叫作网络爬虫排除标准，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下。