小白学爬虫笔记2---网络爬虫引发的问题

网络爬虫的(按)尺寸(划分)

  • 爬取网页,玩转网页,小规模,爬取速度不敏感,Requests库
  • 爬取网站,系列网站,中规模,爬取速度敏感,Scrapy库
  • 爬取全网,大规模,搜索引擎,爬取速度关键,定制开发

网络爬虫可能引发的问题

网络爬虫的“骚扰”

受限于编写水平和目的,网络爬虫将会为web服务器带来巨大的资源开销。

网络爬虫的法律风险

服务器上的数据有产权归属
网络爬虫获取数据后牟利将带来法律风险

网络爬虫泄露隐私

网络爬虫可能具备突破简单访问控制的能力,获得被保护数据从而泄露个人隐私。

网络爬虫的限制

来源审查:判断User-Agent进行限制

检查来访HTTP协议头的User-Agent域,只相应浏览器或友好爬虫的访问

发布公告:Robots协议

告知所有爬虫网站的爬取策略,要求爬虫遵守。

Robots协议

Robots Exclusion Standard 网络爬虫排除标准
作用:网站告知网络爬虫那些页面可以抓取,哪些不行。
形式:在网站根目录下的robots.txt文件

User-agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /

后四种爬虫被京东认为是恶意爬虫,拒绝这四种爬虫的访问

案例:京东的Robots协议

  1. http://www.baidu.com/robots.txt
  2. http://news.sina.com.cn/robots.txt
  3. http://www.qq.com/robots.txt
  4. http://news.qq.com/robots.txt
  5. http://www.moe.edu.cn/robots.txt (无robots协议)

注意:robots协议一定是放在网站的根目录下

Robots协议的使用

网络爬虫:自动或人工识别robots.txt,再进行内容爬取
约束性:Robots协议是建议单非约束性,网络爬虫可以不遵守,但存在法律风险。
访问量特别小可以不遵守robots协议

你可能感兴趣的:(笔记,python)