mongodb去重重复记录

一、mongdb的分组统计基础知识推荐以下博客

      https://blog.csdn.net/congcong68/article/details/51619882

 其中$addToSet  类似pandas的unique

$push  类似map(lambda x: list(x))

https://blog.csdn.net/yaomingyang/article/details/78697113

 

 

二、删除重复记录

可参看一下博客

https://www.cnblogs.com/nicolegxt/p/24b3653947991ebe73e5d70609ab2943.html

http://forum.foxera.com/mongodb/topic/967/mongodb%E5%A6%82%E4%BD%95%E5%B0%86%E9%87%8D%E5%A4%8D%E7%9A%84%E6%95%B0%E6%8D%AE%E5%88%A0%E9%99%A4/2

 

db.test.aggregate([
  { $group: { 
    _id: { time: "$time", name: "$name"}, 
    dups: { "$addToSet": "$_id" }, 
    count: { "$sum": 1 } 
  }}, 
  { $match: { 
    count: { "$gt": 1 } //找出记录大于1的数据进行处理
  }}
],
{allowDiskUse: true}
).forEach(function(doc) {
    doc.dups.shift();
    db.test.remove({_id : {$in: doc.dups }});
});

1、其中{allowDiskUse: true}，理解如下：
   每个阶段管道限制为100MB的内存。如果一个节点管道超过这个极限,MongoDB将产生一个错误。为了能够在处理大型数据集,可以设置allowDiskUse为true来在聚合管道节点把数据写入临时文件。这样就可以解决100MB的内存的限制。

2、注意$group和$match的顺序不能对调，顺序不一样含义不一样，match放前面是先筛选后分组，放后面是先分组后筛选。