Mongodb去重

在编写python将文件写入到Mongo数据库时，每次运行一遍数据，数据库中都会重写一遍数据，这显然不是我们希望看到的。结合MongoDB + Robo 3T可以实现数据去重，只需要在Robo3T中运行代码

db.getCollection('数据表名称').aggregate([{$group:{_id:{字段名:'$字段名'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('数据表名称').remove({_id: {$in: doc.dups}});})

只需要在Robo3T可视化界面中将上述代码输入，替换<数据表名称>和<字段名>即可