大数据常考--bitmap用来去重占用内存少

      大数据,内存限制用bitmap,uint32用2^32表示,对应的bitmap大小0.5G。

      这里要去重,直接遍历一次,然后统计bitmap里面的数据就可以达到去重的目的

      这里假设读者已懂bitmap,只是简单的说下思路。

你可能感兴趣的:(海量处理)