海量数据去重（上亿数据去重）

   在数据开发中，我们不难遇到重复数据的问题，搞过这类数据开发的同志肯定觉得，重复数据是真的烦人，特别是当数据量十分大的时候，如果我们用空间复杂度去换时间复杂度，会十分耗内容，稍不注意，就会内存溢出，那么针对如此庞大的数据量我们一般能怎么解决呢？下面分享几个方案：

方案一、根据一定规则分层去重：

海量的数据一般可以根据一定的规则分层，比如：针对海量的小区数据，可以把所在同一区域的小区去重，然后放入数据库。这样做大大减少了每次统计的数量和需要去重的数量，精确的颗粒度越细，相对的需要去重的数量也就越少。

方案二、主键去重：

根据一定的规则，你可以把需要去重的字段连成一个字符串，往一个redis里面放，或者往mysql一类的关系性数据库里面放置，以连成的字符串为key，其他字段为value。

方案三：set去重

这个方法是最常用的去重方法，把数据封装好，然后往一个set里面塞，但是如果涉及到的数据量比较大的话，就很可能out of menmory。

转载于:https://www.cnblogs.com/asd529735325/p/10216026.html