Scrapy爬虫框架

架构介绍

Scrapy框架的架构如下图所示：

它可以分为如下的几个部分：
①Engine。引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。
②Item。项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。
③Scheduler。调度器，接受引擎发过来的请求并将其加入到队列中，在引擎再次请求的时候将请求提供给引擎。
④Downloader。下载器，下载网页内容，并将网页内容返回给蜘蛛。
⑤Spiders。蜘蛛，其内定义了爬取的逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。
⑥Item Pipeline。项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。
⑦Downloader Middlewares。下载器中间件，位于引擎和下载器之间的钩子框架，主要处理引擎与下载器之间的请求及响应。
⑧Spider Middlewares。蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应和输出的结果及新的请求。

数据流

Scrapy中的数据流由引擎控制，数据流的过程如下：
①Engine首先打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取的URL。
②Engine从Spider中获取到第一个要爬取的URL，并通过Scheduler以Request的形式调度。
③Engine向Scheduler请求下一个要爬取得URL。
④Scheduler返回下一个要爬取的URL给Engine，Engine将URL通过Downloader Middlewares转发给Downloader下载。
⑤一旦页面下载完毕，Downloader生成该页面的Response，并将其通过Downloader Middlewares发送给Engine。
⑥Engine从下载器中接收到Response，并将其通过Spider Middlewares发送给Spider处理。
⑦Spider处理Response，并返回爬取到的Item及新的Request给Engine。
⑧Engine将Spider返回的Item给Item Pipeline，将新的Request给Scheduler。
⑨重复第2步到第8步，直到Scheduler中没有更多的Request，Engine关闭该网站，爬取结束。
通过多个组件的相互协调、不同组件完成工作的不同、组件对异步处理的支持，Scrapy最大限度地利用了网络带宽，大大提高了数据爬取和处理的效率。

项目结构

scrapy.cfg
project/
	__init__.py
	items.py
	pipelines.py
	settings.py
	middlewares.py
	spiders/
		__init__.py
		spider1.py
		spider2.py
		...

①scrapy.cfg：它是Scrapy项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容。
②items.py：它定义Item数据结构，所有的Item的定义都可以放这里。
③pipelines.py：它定义Item Pipeline的实现，所有的Item Pipeline的实现都可以放这里。
④settings.py：它定义项目的全局配置。
⑤middlewares.py：它定义Spider Middlewares和Downloader Middlewares的实现。
⑥spiders.py：其内包含一个个Spider的实现，每个Spider都有一个文件。
一个简单的爬取Quotes网站的Scrapy的简单入门的结果图：

Selector的用法

之前学的爬虫提取网页数据可以利用Beautiful Soup、pyquery以及正则表达式。实际上，Scrapy提供了自己的数据提取方法，即Selector（选择器）。Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。

Spider的用法

Spider运行流程

在实现Scrapy爬虫项目时，最核心的类便是Spider类了，它定义了如何爬取某个网站的流程和解析方式。简单来讲，Spider要做的事就是：
①：定义爬取网站的动作；
②：分析爬取下来的网站。
对于Spider类来说，整个爬取循环过程如下所述：
①以初始的URL初始化Request，并设置回调函数。当该Request成功请求并返回时，Response生成并作为参数传给该回调函数。
②在回调函数内分析返回的网页内容。返回结果有两种形式。一种是解析到的有效结果返回字典或Item对象，它们可以经过处理后（或直接）保存。另一种是解析得到下一个（如下一页）链接，可以利用此链接构造Request并设置新的回调函数，返回Request等待后续调度。
③如果返回的是字典或Item对象，我们可通过Feed Exports等组件将返回结果存入到文件。如果设置了Pipeline的话，我们可以使用Pipeline处理（如过滤、修正等）并保存。
④如果返回的是Request，那么Request执行成功后得到Response之后，Response会被传递给Request中定义的回调函数，在回调函数中我们可以再次使用选择器来分析新得到的网页内容，并根据分析的数据生成Item。
通过以上几步循环往复进行，完成站点的爬取。

注：Downloader Middleware是做异常处理和反爬处理的核心！！！

Pycharm中运行Scrapy爬虫

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from scrapy import cmdline

# scrapy crawl images （images 为爬虫名）
cmdline.execute("sscrapy crawl images".split())

在project目录下新建一个Python文件，添加上述代码运行即可。

一个scrapy爬虫效果图