Scrapy框架结构及工作原理

话不多说，先上图1

 

首先，简单了解一下Scrapy框架中的各个组件

对于用户来说，Spider是最核心的组件，Scrapy爬虫开发是围绕实现Spider展开的。
接下来，看一下在框架中的数据流，有下表所示的3种对象。

Request和Response是HTTP协议中的术语，即HTTP请求和HTTP响应，Scrapy框架中定义了相应的Request和Response类，这里的Item代表Spider从页面中爬取的一项数据。
最后，我们来说明以上几种对象在框架中的流动过程。
● 当SPIDER要爬取某URL地址的页面时，需使用该URL构造一个Request对象，提交给ENGINE（图1中的1）。
● Request对象随后进入SCHEDULER按某种算法进行排队，之后的某个时刻SCHEDULER将其出队，送往DOWNLOADER（图1中的2、3、4）。
● DOWNLOADER根据Request对象中的URL地址发送一次HTTP请求到网站服务器，之后用服务器返回的HTTP响应构造出个
Response对象，其中包含页面的HTML文本（图1中的5）。
● Response对象最终会被递送给SPIDER的页面解析函数（构造Request对象时指定）进行处理，页面解析函数从页面中提取数据，封装成Item后提交给ENGINE，Item之后被送往ITEM PIPELINES进行处理，最终可能由EXPORTER（图1中没有显示）以某种数据格式写入文件（csv，json）；另一方面，页面解析函数还从页面中提取链接（URL），构造出新的Request
对象提交给ENGINE（图1中的6、7、8）。
理解了框架中的数据流，也就理解了Scrapy爬虫的工作原理。如果把框架中的组件比作人体的各个器官，Request和Response对象便是血液，Item则是代谢产物。

Scrapy运行流程

1. 引擎：Hi！Spider, 你要处理哪一个网站？

2. Spider：老大要我处理xxxx.com。

3. 引擎：你把第一个需要处理的URL给我吧。

4. Spider：给你，第一个URL是xxxxxxx.com。

5. 引擎：Hi！调度器，我这有request请求你帮我排序入队一下。

6. 调度器：好的，正在处理你等一下。

7. 引擎：Hi！调度器，把你处理好的request请求给我。

8. 调度器：给你，这是我处理好的request

9. 引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求

10. 下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）

11. 引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）

12. Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

13. 引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。

14. 管道``调度器：好的，现在就做！