存储到mongodb的配置

需要先配置setings.py文件

ITEM_PIPELINES = {
   'csdn.pipelines.CsdnPipeline': 300,
   'csdn.pipelines.MongodbPipeline': 301,

}

再在pipelines.py文件中创建

import pymongo
class MongodbPipeline(object):
    def open_spider(self,spider):
        #连接MongoDB
        self.client = pymongo.MongoClient(host='localhost',port=27017)
        #选择库
        self.db = self.client.数据库名
        #选择集合
        self.coll = self.db.表名
        
    def process_item(self,item,spider):
        #写入
        d = dict(item)
        self.coll.insert(d)

        return item
    def close_spider(self,spider):
        #关闭连接
        self.client.close()

注意：数据库名和表名可以不用先创建，自动会创建
linux下的配置

安装：
    sudo apt  install mongodb
配置mongodb:
    sudo vim /etc/mongodb.conf
    将bind 127.0.0.1注释掉
    然后重启即可
    sudo service mongodb restart