爬虫（2）：Pipeline

Item Pipeline

当Item在Spider中被收集后，它会被传到Item Pipline，一些组件会按照一定的顺序执行对Item的处理。

每个item pipeline组件是实现了简单方法的Python类。他们接受到Item并通过它执行一些行为，同时也决定此item是否继续通过pipeline，或是被丢弃而不再进行处理。

以下是item pipline的一些典型应用：

1. 清理HTML数据

1. 验证爬取的数据（检查item包含某些字段）

1. 查重（并丢弃）

1. 将爬取结果保存到数据库中

编写你自己的item pipeline

每个item pipline组件是一个独立的Python类，同时必须实现以下方法：

process_item(self,item,spider)

每个item pipline组件都需要调用该方法。这个方法必须返回一个具有数据的dict或是Item对象，或是抛出DropItem异常，被丢弃的item将不会被之后的pipeline组件所处理

参数 
item(item对象或者一个dict)-被爬取的item
spider(spider对象)-爬取该item的spider

此外，他们也可以实现以下方法：

open_spider(self,spider)

当spider被开启时，这个方法被调用。

参数：spider（spider对象）-
被开启的spider

close_spider(self,spider)

当spider被关闭时，这个方法被调用

参数：spider(spider对象)-被关闭的spider

from_crawler(cls,crawler)

这个方法是从一个crawler中创建一个pipeline的新对象，Crawler提供了所有面向Scrapy核心组件（比如settings,signals）的连接，这是pipeline连接他们并勾连他们的功能
到Scrapy的重要途径.

参数：cralwer(clawler对象)-使用这个pipeline的cralwer。

Item pipeline样例

验证价格，同时丢弃没有价格的item

功能：为那些不含税（price_excludes_vat属性）的item调整了price属性，同时丢弃了那些没有价格的item：

from scrapy.exception import DropItem
class PricePipeline(object):
    var_factor=1.15
    def process_item(self,item,spider):
        if item['price']:
            if item['price_excludes_vat']:
                item['price']=item['price']*self.vat_factor
            return item
        else:
            raise DropItem("Missing price in %s" %item )            

将item写入JSON

以下pipeline将所有（从所有spider中）爬取到的item，存储到一个序列化为JSON格式的item:

import json
class JsonWriterPipeline(object):
    def__init__(self):
        self.file=open('items.jl','wb')
    def process_item(self,item,spider):
        line=json.dump(dict(item))+"\n"
        self.file.writer(line)
        return item 

将items写入MongoDB

在这个例子中我们将使用pymongo来向pymongo
里写items，MongoDB的地址和数据库名字都在Scrapy settings里；MongoDB集合在itemclass
后命名。这个例子的主要的点在于展现如何使用from_crawler()方法以及如何正确的清理资源。

import pymongo
class MongoPipeline(object):
    collection_name='scrapy_items'
    def __ init__(self,mongo_uri,mongo_db):
        self.mongo_uri=mongo_uri
        self.mongo_db=mongo_db
    @classmethod
    def from_crawler(cls,crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE','items'
            )
    def open_spider(self,spider):
        self.client=pymongo.MongoClient(self.mongo_uri)
        self.db=self.client[self.mogo_db]
    def close_spider(self,spider):
        self.client.close()
    def process_item(self,item,spider):
        self.db[self.collection_name].insert(dict(item))
        return item

去重

一个用于去重的过滤器，丢弃那些已经被处理过的item。让我们假设我们的item有一个唯一的id，但是我们的spider返回的多个item中包含有相同的id：

from scrapy.exception import DropItem
class DuplicatePipeline(object):
    def __init__(self):
        self.ids_seen=set()
    def process_item(self,item,spider):
        if item['id'] in self.ids_seen:
            raise DropItem("Duplicate item found: %s" %item)
        else:
            self.ids_seen.add(item['id'])
            return item 

启用一个Item Pipeline组件

为了启用一个Item Pipeline组件，你必须把它的类添加到ITEM_PIPELINES配置。

ITEM_PIPELINES={
    'myproject.pipelines.PricePipeline':300,
    'myproject.pipeline.JsonWriterPipeline':800,


}

分配给每个类的整型值，确定了他们运行的顺序，item按数字从低到高的顺序，通过pipeline，通常将这些数字定义在0-1000范围内。