python爬虫之requests和Scrapy比较

爬虫框架
*爬虫框架是实现爬虫功能的一个软件结构和功能组件集合

*爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫

Scrapy爬虫框架结构
"5+2"结构

Spiders(用户提供Url、以及解析内容)、Item pipelines(对提取的信息进行处理)模块需要用户编写(配置)

其他模块:Engine、Scheduler、Downloader模块已有实现,不需要用户进行修改

Engine:控制所有模块之间的数据流、根据条件触发事件,不需要用户修改

Downloader:根据请求下载网页,不需要用户修改

Scheduler:对所有爬取请求进行调度管理、不需要用户进行修改

Downloader Middleware(中间件)

目的:实施Engine、Scheduler和Downloader之间进行用户可配置的控制

功能:修改、丢弃、新增请求或响应

用户可以编写配置代码

Spider:解析Downloader返回的响应(Response)、产生爬取项(scraped item)、产生额外的爬取请求(Request)

Item pipelines:以流水线方式处理Spider产生的爬取项、由一组操作顺序组成,类似流水线,每个操作是一个Item Pipeline类型。

可能的操作包括:清理、检验和查重爬取项中的HTML数据、将数据存储到数据库。

Spider Middleware(中间件)

目的:对请求和爬取项的再处理

功能:修改、丢弃、新增请求或爬取项

用户可以编写配置代码

python爬虫之requests和Scrapy比较_第1张图片

python爬虫之requests和Scrapy比较_第2张图片

两个方法看情况用
非常小的需求,用requests库

不太小的需求,Scrapy框架(持续周期性不间断爬取)

定制程度很高的需求(不考虑规模),自搭框架,requests>Scrapy

相同点
*两者都可以进行页面请求和爬取,python爬虫的两个重要技术路线。

*两者可用性都好,文档丰富,入门简单。

*两者都没有处理js、提交表单、应对验证码等功能(可扩展)。

你可能感兴趣的:(python,python,爬虫,开发语言)