管道（pipelines）

爬取获得的数据通过 item 类实例化，然后传递到管道，通过管道进行进一步处理。

要使用管道，需要通过 item，我们先定义 item，编辑 items.py：

import scrapy

class QuotesItem(scrapy.Item):
    text = scrapy.Field()
    author = scrapy.Field()

创建 Scrapy 项目时候，会生成一个 pipelines.py 文件，在这里编写管道相关的代码，为了等下的演示，我们加上如下代码：

class TutorialPipeline(object):
    def process_item(self, item, spider):
        print('爬虫：' + spider.name + ' 使用管道')
        return item

然后在 settings.py 中设置启用管道，找到 ITEM_PIPELINES 然后修改它。

# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   # 设置我们项目的管道，如果有多个管道，后面数值要不同
   'tutorial.pipelines.TutorialPipeline': 300,
}

编写我们的爬虫，爬取数据，并通过 item 类实例化：

import scrapy
from tutorial.items import QuotesItem


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        text_list = response.css('span.text::text').extract()
        author_list = response.css('small.author::text').extract()

        quotes_item = QuotesItem()
        for text,author in zip(text_list, author_list):
            # item类实例化
            quotes_item['author'] = author
            quotes_item['text'] = text
            yield quotes_item

使用以下命令运行爬虫：

scrapy crawl quotes

看到以下输出：

说明管道能获取到 item 中的数据了。

---

下面我们通过管道来把爬取到的数据写入 sqlite 数据库中。

在编写 scrapy 相关代码之前，我们先手动创建好数据表，并定义好相关字段。

做好以上准备后，编写 pipelines.py 文件：

import sqlite3

class TutorialPipeline(object):
    # 开启爬虫时候执行的函数
    # 这里的作用是连接数据库
    def open_spider(self, spider):
        self.con = sqlite3.connect('quotes.db')

    # 处理item的函数
    # 这里的作用是执行相关SQL语句
    def process_item(self, item, spider):
        ins = "INSERT INTO quotes (author) VALUES ('{}')".format(item['author'])
        self.con.execute(ins)
        self.con.commit()

        print('抓取到：' + item['author'])
        return item

    # 关闭爬虫时执行的函数
    # 这里的作用是关闭数据库
    def close_spider(self, spider):
        self.con.close()