redis读取mongo数据库的数据 -写给自己看爬虫系列6

前言

需求：要向redis存入mongodb中的数据
思路：利用redis和pymongo模块，读取mongo的数据后用lpush写入redis中。

脚本

import pymongo,redis
'''读取mongo数据'''
def read_data(c_n,d_n):
    client =pymongo.MongoClient('localhost',27017)
    db     =client[d_n]
    collection =db[c_n]
    data = collection.find()
    return data

'''写入数据到redis'''
def write_data(val):
    a = redis.Redis()
    a.lpush('myspider3:start_urls',val)

    return 'ok'
if __name__ == '__main__':
    aa =read_data(c_n='url_recheack',d_n='project_shenzhen')
    bb =[i['url'] for i in aa][:50]
    map(write_data,bb)