python爬虫day-10（urllib库-分析Robots协议）

个人学习笔记，方便自己查阅，仅供参考，欢迎交流

分析Robots协议

利用robotparser模块，可以实现网站Robots协议的分析。利用它,我们可以方便地判断哪些页面可以抓取，哪些页面不可以抓。

1.Robots 协议

Robots协议也称作爬虫协议、机器人协议，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作 robots.txt的文本文件,一般放在网站的根目录下。

2.爬虫名称

3.robotparser

urllib.robotparser.RobotFileParser(url='')

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*','http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*',"http://www jianshu.com/search?q=python&page=l&type=collections"))