BitMap算法和Java的实现类BigSet

 

 

考虑下面几个应用场景：

1. 统计每天的日活（访问量、用户数等）
2. 统计某个部门的联系客户量
3. 对大量数据进行排序

 

针对第一种应用场景，通常的做法就是采用明细表来记录每一个访问量，然后统计每天的用户数（用一个用户，多次访问，只算一个）。

这里有个问题，就是假设用户量比较大，假设一天有1000万的请求量，一个月就有3亿的数据量，对数据库的压力比较大。

这是我们就可以考虑采用BigMap来实现，它之间用位置代替数字，用0和1来表示这个数字是否存在，可以加大的压缩存储空间。比如说，1亿个用户一天的数据量也就 1 0000 0000bit = 11.92m，也就是说用户一天的登录信息也就产生11.92m的数据量。一个月也就357.63m的数据量。

 

Java的实现就是BigSet，下面是一段实现代码：

BitSet bm = new BitSet();

System.out.println(bm.isEmpty()+"--"+bm.size());

bm.set(0);

System.out.println(bm.isEmpty()+"--"+bm.size());

bm.set(1);

System.out.println(bm.isEmpty()+"--"+bm.size());

System.out.println(bm.get(65));

System.out.println(bm.isEmpty()+"--"+bm.size());

bm.set(65);

System.out.println(bm.isEmpty()+"--"+bm.size());

 

上面的逻辑很好理解，存储的数据越大，BitSet就会自动扩展64位来存储，所以当数据量不多的时候，占用的存储也不多。

正常影响，一个int数据是32位，而BitSet则可以存储32个数字和0/1标