【Scrapy 框架翻译】架构解析（Architecture overview） 详解篇

版本号：Scrapy 2.4

内容介绍

本文档介绍了Scrapy的体系结构及其组件之间的交互方式。

业务处理流程

1. 该引擎获取从最初请求爬行spider。
2. 该引擎安排在请求调度程序和要求下一个请求爬行。
3. 该计划返回下一请求的引擎。
4. 该引擎发送请求到下载器，通过下载器中间件。
5. 页面下载完成后， Downloader会生成一个带有该页面的响应，并将其发送到Engine，并通过 Downloader Middlewares。
6. 该引擎接收来自响应 下载器并将其发送到所述 spider进行处理，通过spider中间件。
7. 该spider处理响应并返回刮下的项目和新的要求（跟随）的 引擎，通过spider中间件。
8. 该引擎发送处理的项目，以项目管道，然后把处理的请求的调度，并要求新的请求爬行。
9. 重复该过程（从步骤1开始），直到不再有Scheduler的请求为止 。

各个组件部分

1. Scrapy引擎
   引擎负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。
2. Scheduler
   调度程序从引擎接收请求，并在引擎请求它们时将它们排队，以便以后将它们（也发送到引擎）提供给它们。
3. Downloader
   下载器负责获取网页并将其馈送到引擎，引擎又将其馈给spider。
4. Spiders
   spider是由Scrapy用户写入解析响应和提取自定义类的Item。
5. Item Pipeline
   一旦spider将它们提取（或Scrapy），项目管道负责处理项目。典型的任务包括清理，验证和持久性（例如将项目存储在数据库中）。
   如果需要执行以下操作之一，请使用Downloader中间件：

• 在将请求发送到下载器之前处理请求（即，在Scrapy将请求发送到网站之前）；
• 在传递给spider之前更改收到的响应；
• 发送新的请求，而不是将收到的响应传递给spider；
• 将响应传递给spider，而无需获取网页；
• 默默地丢弃一些请求。

6. Spider middlewares
   蛛中间件是位于引擎和spider之间的特定挂钩，并且能够处理spider的输入（响应）和输出（项目和请求）。
   如果需要执行以下操作之一，请使用Spider中间件

• spider回调的后处理输出-更改/添加/删除请求或项目；
• 后处理start_requests;
• 处理spider异常；
• 根据响应内容，对某些请求调用errback而不是回调。

7. Event-driven networking
   Scrapy用Twisted编写，Twisted是一种流行的事件驱动的Python网络框架。因此，使用异步代码并发实现的。