crawlab python脚本关联mongodb结果集，实例

1.官方大佬指出， 可能还是不太懂，接着看

2. 脚本源码， db_weather  集合与crawlab爬虫结果集保持一致，数据列加入task_id

# -*- coding:utf-8 -*-

import requests
import time
import os
from pymongo import MongoClient

requests.packages.urllib3.disable_warnings()


class wth:
    def __init__(self):
        #这里的result, 可以是你自己的业务数据
        # 必须把task_id 写入每一行数据中
        task_id = os.environ["CRAWLAB_TASK_ID"]
        result = [
            {"task_id":task_id,
             "cityname":cityname,
             "week":week,
             "noww":noww,
             "dayw":dayw,
             "shidu":shidu,
             "kongq":kongq}]
        print("result=", result)
        # 插入数据库
        self.InsertWeather(result)

    def getTimeStamp(self):
        TimeStamp = str(time.time())
        TimeStamp = TimeStamp.replace(".", "")[0:10]
        return str(TimeStamp)

    def InsertWeather(self, resultdata):
        # 数据库mongodb
        mongo = MongoClient("自己的IP", 27017)
        db = mongo["crawlab_test"]  # 数据库名
        coll = db.get_collection('db_weather')  # 指定集合，没有则创建, 这个集合与crawlab爬虫结果集一致 db_weather
        coll.insert_many(resultdata)  #批量插入
        mongo.close()


if __name__ == '__main__':
    m = wth()

3.配置爬虫的时候指定结果集

 

4.跑完的结果

 

mongodb里的结果数据