scrapy整合hbase爬取数据并存入hbase

在网上看了大篇的帖子都是关于scrapy与mongodb、mysql、redis等集成的文章，唯独没有看到scrapy与hbase整合的文章。今天动手实验了一下，整理成本篇博文，分享给大家。

scrapy爬取数据的例子网上很多，本人在此就不再赘诉了。

此处只着重描写scrapy如何入库至hbase。

本文主要通过HappyBase操作hbase。

HappyBase 是 FaceBook 员工开发的操作 HBase 的 Python 库，其基于 Python Thrift，但使用方式比 Thrift 简单、简洁许多，已被广泛应用。

1、安装happybase
pip install happybase

2、启动hbase thrift服务
nohup hbase thrift -p 9090 start &

3、在scrapy项目下setting.py文件中定义HBASE_HOST 和HBASE_TABLE

    HBASE_HOST = '192.168.22.15'
    HBASE_TABLE = 'novel'

4、在pipelines.py中编写Hbase入库的Pipeline

class NovelHBasePipeline(object):
    def __init__(self):
        host = settings['HBASE_HOST']
        table_name = settings['HBASE_TABLE']
        connection = happybase.Connection(host)
        table = connection.table(table_name)
        self.table = table

    def process_item(self, item, spider):
        bookName = item['bookName']
        bookTitle = item['bookTitle']
        chapterURL = item['chapterURL']

        self.table.put(md5(bookName + bookTitle).hexdigest(),
                       {'cf1:bookname': bookName, 'cf1:booktitle': bookTitle, 'cf1:chapterurl': chapterURL})
        return item

5、在setting.py文件中配置编写的Pipeline

ITEM_PIPELINES = {
    'novelspider.pipelines.NovelspiderPipeline': 500,
    'novelspider.pipelines.NovelHBasePipeline': 1
}

至此，所有的整合工作已经完成，即可运行您的spider爬取数据并存至hbase。