Robo协议
小规模,数据量小,爬取速度不敏感的网页
用Requests库
中规模,数据规模大,爬取速度敏感的网站
用Scrapy库
大规模,搜索引擎,爬取速度关键,爬取全面
定制开发(如搜狗等)
Robots,Robots Exclusion Standard 网络爬虫排除标准
作用:网站告知网络爬虫哪些页面可以爬取,哪些不行
形式:在网站根目录下的robots.txt文件
User-angent:* #*代表所有
Disallow:/ #/代表根目录
例如:http://www.baidu.com/robots.txt
Robots协议的使用
网络爬虫:自动或人工识别robots.txt,在进行内容爬取
约束性:Robots协议是建议但非约束性的
ps:学习链接 https://www.icourse163.org/learn/BIT-1001870001?tid=1206951268#/learn/announce