mongo批量去重插入

最近用到 mongo批量去重插入， 记录一波

import os
import psycopg2
import time
import threadpool
import gc
import pymongo
from pymongo import UpdateOne

myclient = pymongo.MongoClient("mongodb://127.0.0.1:8080/")
mydb = myclient["test1"]["tt1"]
data = [{"aa":11, "bb": 22}, {"aa":44, "bb":555}]

one = UpdateOne({"aa": data['aa']}, {"$setOnInsert":data}, upsert=True)
arr.append(one)
mydb.bulk_write(arr)

大文件插入 mongodb 会越来越慢， 原因还没找到- 预计是mongodb 执行问题