北京理工大学-Python网络爬虫与信息提取学习笔记02

Robo协议

小规模,数据量小,爬取速度不敏感的网页
用Requests库

中规模,数据规模大,爬取速度敏感的网站
用Scrapy库

大规模,搜索引擎,爬取速度关键,爬取全面
定制开发(如搜狗等)

Robots,Robots Exclusion Standard 网络爬虫排除标准
作用:网站告知网络爬虫哪些页面可以爬取,哪些不行
形式:在网站根目录下的robots.txt文件
User-angent:* #*代表所有
Disallow:/ #/代表根目录
例如:http://www.baidu.com/robots.txt

Robots协议的使用
网络爬虫:自动或人工识别robots.txt,在进行内容爬取
约束性:Robots协议是建议但非约束性的
ps:学习链接 https://www.icourse163.org/learn/BIT-1001870001?tid=1206951268#/learn/announce

你可能感兴趣的:(python)