Scrapy框架

概述

Scrapy 是一个异步框架，底层是Twisted网络框架。可扩展性强、可以灵活完成各种需求。

Scrapy 框架构成

• Engine 引擎， 系统流处理，触发事务，是系统的核心。
• Item 项目，定义爬取结果的数据结构，爬取的数据会被赋值给Item对象。
• Scheduler 调度器，接收引擎请求，放入请求队列。引擎再次请求，从队列中取出请求提供给引擎。
• Downloader 下载器， 下载网页内容，将网页结果返回给蜘蛛。
• Spiders 蜘蛛，定义了爬取的逻辑和网页解析规则，负责响应并生成提取结果和新的请求。
• Item Pipeline 项目管道，处理由蜘蛛从网页中抽取的项目，它的主要目的是清洗、验证和存储数据。
• Downloader Middlewares 下载器中间件，处理引擎和下载器之间的请求和响应。
• Spider Middlewares 蜘蛛中间件，处理蜘蛛的输入和输出结果以及请的请求。