Scrapy | 全方位解析Scrapy框架！

1、架构介绍

Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下：

model.PNG

它可以分为如下的几个部分:
Engine。引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。
Item。项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。
Scheduler。调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求的时候将请求提供给引擎。
Downloader。下载器，下载网页内容，并将网页内容返回给蜘蛛。
Spiders。蜘蛛，其内定义了爬取的逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。
Item Pipeline。项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。
Downloader Middlewares。下载器中间件，位于引擎和下载器之间的钩子框架，主要处理引擎与下载器之间的请求及响应。
Spider Middlewares。蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应和输出的结果及新的请求。

2、数据流过程

Scrapy中的数据流由引擎控制，数据流的过程如下：

Engine首先打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取的URL。
Engine从Spider中获取到第一个要爬取的URL，并通过Scheduler以Request的形式调度。
Engine向Scheduler请求下一个要爬取的URL。
Scheduler返回下一个要爬取的URL给Engine，Engine将URL通过Downloader Middlewares转发给Downloader下载。
一旦页面下载完毕，Downloader生成该页面的Response，并将其通过Downloader Middlewares发送给Engine。
Engine从下载器中接收到Response，并将其通过Spider Middlewares发送给Spider处理。
Spider处理Response，并返回爬取到的Item及新的Request给Engine。
Engine将Spider返回的Item给Item Pipeline，将新的Request给Scheduler。
重复第二步到最后一步，直到Scheduler中没有更多的Request，Engine关闭该网站，爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持，Scrapy最大限度地利用了网络带宽，大大提高了数据爬取和处理的效率。

3、创建项目：

①创建存放项目的文件夹。（此处以ScrapyTest文件夹为例）
②cmd切换目录至项目文件夹（ScrapyTest文件夹）
③输入scrapy startproject scrapyspider，即在指定文件夹内新建一个名为scrapyspider为文件名的Scrapy框架项目。

创建Scrapy项目.PNG

④输入cd scrapyspider进入scrapyspider目录，继而输入scrapy genspider 爬虫名域名，以下操作以quotes为爬虫名，quotes.toscrape.com为域名创建爬虫。结果如下图所示：

新建spider.png

4、项目结构：

项目结构.JPG

这里各个文件的功能描述如下：
scrapy.cfg：它是Scrapy项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容。
items.py：它定义Item数据结构，所有的Item的定义都可以放这里。
pipelines.py：它定义Item Pipeline的实现，所有的Item Pipeline的实现都可以放这里。
settings.py：它定义项目的全局配置。
middlewares.py：它定义Spider Middlewares和Downloader Middlewares的实现。
spiders：其内包含一个个Spider的实现，每个Spider都有一个文件。

打开spiders/quotes.py，内容如下：

import scrapy
'''
name：值即为爬虫名，该名称在项目中必须唯一。
allowed_domains：即为允许爬取的域名，如果初始或后续的请求链接不是这个域名下的，则请求链接会被
过滤掉。
start_urls：它包含了Spider的启动时爬取的url列表，初始请求是由它定义的。
parse：是Spider的一个方法。默认情况下，被
调用时start_urls里面的链接构成的请求完成下载执行后，
返回的响应就会作为唯一的参数传递给这个函数。该方法负责解析返回的响应、提取数据或者进一步生成
要处理的请求。
'''
class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        pass

5、结语：

本节全方位的解析了Scrapy框架的基本介绍、数据流过程、创建过程、项目结构。后续的章节里，我会结合实际的爬取示例，进一步讲述Scrapy框架各部分的用法。

您的点赞是最好的鼓励。
“关注”即可第一时间获取最新文章。
若有疑问或是不足之处，尽可在下方留言，本人看到会第一时间回复，谢谢。