参考链接
- https://blog.csdn.net/jiaomeng/article/details/1495500
概述
Bloom Filter：布隆过滤器；由一个很长的二进制向量(BitMap)和一系列随机映射函数（Hash）组合使用；用于判断给定对象是否存在于集合中，该方式存在一定的误差率,一种概率性数据结构；
数据结构：
BitMap - 位数组中每个元素都只占用1bit，每个bit只有0和1两种状态
Hash函数 - 用于生成对象的Hash值
实现方式：
有k个不同的哈希函数，且每个哈希函数的输出范围都大于m，接着将输出值对k取余（%m）,就会得到k个[0, m-1]的值，由于每个哈希函数之间相互独立，因此这k个数也相互独立，最后将这k个数对应到Bitmap上并标记为1；对于相同的对象，若存在于集合中，一定会在BitMap中找到其对应的bit位都为1；同时其中存在一定的误差，即不存在于集合中的对象其在BitMap中对应的bit位也都位1，但反向思考，若对象在BitMap对应的bit位存在0的情况，则该对象一定不在集合中；
误差率：
当集合的对象过大，而BitMap的位数（空间）又较小，则误差率就越大，极端情况将使该Filter无效（即每个对象映射到Bitmap上都未为1）；
假定：Bitmap的大小为m、集合大小为n、哈希函数个数为k
a.) 1个Hash函数时，接收一个元素时Bitmap中某一位置为0的概率为：（1 - 1/m）
b.) k个相互独立的Hash函数，接收一个元素时Bitmap中某一位置为0的概率为:(1-1/m)的k次方
c.) 假设原始集合中，所有元素都不相等（最严格的情况），将所有元素都输入布隆过滤器，此时某一位置仍为0的概率为：(1-1/m)的nk次方; 某一位置为1的概率为：1 - (1-1/m)的nk次方
d.) 当对某个对象进行判断时，误判（即这个对象对应的k个标志位不全为1，但所有k个标志位都被置为1）率约为：（1 - (1-1/m)的nk次方）的k次方 -> (1 - e的-nk/m次方)的k次方；
e.) 简化预估计算公式（p为误差率）：p = (1 - e的-nk/m次方)的k次方；
可推导出p的最优解约为：k = 0.7m/n; 故p的值主要受m,n影响，当m增大或n减小时，误差率将减小；
【最优解】
k = 0.7 * m/n
p = 0.6的m/n次方 -> 0.5的k次方
e.g：要求 p = 0.03，预计集合大小n：100w
计算：
Hash函数 k = 5
Bitmap空间m ： 8 * 10^3 * 10^3 bit = 1MB
【限定场景】
e.g: p = 0.01, n = 100w, k = 5
m = 14*n - > 2MB
优点：从空间效率和查询时间两者合并考虑，BloomFilter是一种非常好的判断方式。
注意点：BloomFilter添加Key后无法删除
使用场景
主要目标：利用布隆过滤器减少磁盘 IO 或者网络请求
Redis缓存
对于每个Key都需要先查一次Redis；
-> Bitmap存存在的key，先判断是否存在于BloomFilter，若不存在则Redis一定无该数据Redis的缓存穿透
数据库中查不到的数据，没有缓存到Redis则会一直查数据库；
若Redis缓存查不到的数据，则一方面占用Redis内存，同时也将导致数据的生效时效；
-> Bitmap存不存在的key，先判断是否存在于Redis中，若不存在判断是否存在于BloomFilter，若存在则直接返回未查到结果
实现样例
- google guava包中有对Bloom Filter的实现
private byte[] mergeBytes(byte[] fBytes,byte[] sBytes){
if( null == fBytes || null == sBytes){
return null == fBytes?sBytes:fBytes;
}else{
int firstSize = fBytes.length;
int secondSize = sBytes.length;
int maxSize = firstSize>secondSize?firstSize:secondSize;
byte[] mergeBytes = new byte[maxSize];
for(int k = 0; k < maxSize;++k){
if(k >= firstSize && k >= secondSize ){
break;
}else if(k >= firstSize && k < secondSize ){
mergeBytes[k] = sBytes[k];
}else if(k < firstSize && k >= secondSize ){
mergeBytes[k] = fBytes[k];
}else{
//mergeBytes[k] = (byte)((firstBytes[k] & 0xFF)|(secondBytes[k] & 0xFF));
mergeBytes[k] = (byte) (fBytes[k]|sBytes[k]);
}
}
return mergeBytes;
}
}
private void checkBitmap(boolean initFilterFlag,BloomFilter filter,byte[] fBytes,byte[] sBytes,String... checkKeys){
BloomFilter checkFilter = filter;
if( initFilterFlag ){
checkFilter = null;
//init filter
byte[] bitMapBytes = mergeBytes(fBytes,sBytes);
if( null != bitMapBytes ){
ByteArrayInputStream bytesIn = new ByteArrayInputStream(bitMapBytes);
try {
checkFilter = BloomFilter.readFrom(bytesIn,Funnels.stringFunnel(Charset.forName("utf-8")));
} catch (IOException e) {
e.printStackTrace();
}
}
}
if( null != checkFilter ) {
//check keys
for (String checkKey : checkKeys) {
if (checkFilter.mightContain(checkKey)) {
System.out.printf("Filter Has Exist %s.\n", checkKey);
} else {
System.out.printf("Filter No Exist %s.\n", checkKey);
}
}
}
}
public void testExist(int maxDataSize,double probability) throws IOException {
BloomFilter totalFilter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), maxDataSize,probability);
BloomFilter firstFilter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), maxDataSize,probability);
BloomFilter secondFilter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), maxDataSize,probability);
int loopNum = 100000;
int middLoopNum = loopNum/2;
String last_key = null;
for(int i = 0; i < middLoopNum;++i){
last_key = "Hello_" + i;
totalFilter.put(last_key);
firstFilter.put(last_key);
}
for(int j = middLoopNum; j < loopNum;++j){
last_key = "Hello_" + j;
totalFilter.put(last_key);
secondFilter.put(last_key);
}
ByteArrayOutputStream byteArray = new ByteArrayOutputStream();
totalFilter.writeTo(byteArray);//输出bitmap
byte[] bytes = byteArray.toByteArray();
System.out.printf("byteArray Size : %s; bytes size : %s.\n",byteArray.size(),bytes.length);
String checkKey1 = "Hello_0";
String checkKey2 = "World";
String checkKey3 = "Hello_" + loopNum;
checkBitmap(false,totalFilter,null,null,checkKey1,checkKey2,checkKey3,last_key);
System.out.println("================== Copy Bitmap And Check Key Exist ==========================");
checkBitmap(true,null,bytes,null,checkKey1,checkKey2,checkKey3,last_key);
System.out.println("================== Copy Bitmap With mergeBitmap And Check Key Exist ==========================");
ByteArrayOutputStream firstByteArray = new ByteArrayOutputStream();
firstFilter.writeTo(firstByteArray);//输出bitmap
byte[] firstBytes = firstByteArray.toByteArray();
ByteArrayOutputStream secondByteArray = new ByteArrayOutputStream();
secondFilter.writeTo(secondByteArray);//输出bitmap
byte[] secondBytes = secondByteArray.toByteArray();
checkBitmap(true,null,firstBytes,secondBytes,checkKey1,checkKey2,checkKey3,last_key);
}