robo 3t mongodb 去除重复数据的简单语句

最近在用mongodb录分钟线，出现了很多重复数据和垃圾数据。如下。

使用以下语句查询重复数据，我这个简单只需要时间重复就可以了。

db.getCollection('btc_usd_quarter_10').aggregate([{$group:{_id:{datetime:'$datetime'}, count:{$sum:1}}},{$match:{count:{$gt:1}}}])

不明白这语句的可以参考

参考1，参考2

查询结果：

最后一步，使用下面语句，删除重复项：

db.getCollection('btc_usd_quarter_10').aggregate([{$group:{_id:{datetime:'$datetime'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('btc_usd_quarter_10').remove({_id: {$in: doc.dups}});})

删除重复项的效果：

总结：使用这个删除重复项目，速度一般，太多了还是很卡，几十万条还行。吐槽一下mongodb的语法，真是醉了，括号多得吓死人，好好理清语句间的逻辑关系，还有鼠标点括号robo3t会有高亮提示。其他的就靠自己摸索了。