布隆过滤器详解

目录

1、什么是布隆过滤器

2、扯到布隆过滤器的特点

3、扯到布隆过滤器的使用场景

4、扯到布隆过滤器的原理

1、扯到传统的hash算法

2、扯到布隆过滤器的数据结构

3、扯到布隆过滤器的实现原理

4、分析布隆过滤器的误判率

5、布隆过滤器的优缺点

---

1、什么是布隆过滤器

布隆过滤器不是Redis才有的，很多地方都可以用到，我们还可以单独起一个Docker来配置布隆过滤器。

它实际上是一个很长的二进制数组+一系列随机hash算法映射函数，主要用于判断一个元素是否在集合中。

通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景，一般想到的是将集合中所有元素保存起来，然后通过比较确定。

链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。

但是随着集合中元素的增加，我们需要的存储空间也会呈现线性增长，最终达到瓶颈。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为O(n),O(logn),O(1)。这个时候，布隆过滤器（Bloom Filter）就应运而生

总结：记死：是一个很长的二进制数组+一系列随机hash算法映射函数，主要用于判断一个元素是否在集合中

2、扯到布隆过滤器的特点

1、高效地插入和查询，占用空间少，返回的结果是不确定性的。

2、一个元素如果判断结果为存在的时候元素不一定存在，但是判断结果为不存在的时候则一定不存在。

3、布隆过滤器可以添加元素，但是不能删除元素。因为删掉元素会导致误判率增加。

4、误判只会发生在过滤器没有添加过的元素，

5、对于添加过的元素不会发生误判。

3、扯到布隆过滤器的使用场景

1、解决缓存穿透的问题

答：先要明白什么是缓存穿透，这里不说

把已存在数据的key存在布隆过滤器中，相当于redis前面挡着一个布隆过滤器。 当有新的请求时，先到布隆过滤器中查询是否存在： 如果布隆过滤器中不存在该条数据则直接返回； 如果布隆过滤器中已存在，才去查询缓存redis，如果redis里没查询到则穿透到Mysql数据库

2、黑名单处理

答：

发现存在黑名单中的，就执行特定操作。比如：识别垃圾邮件，只要是邮箱在黑名单中的邮件，就识别为垃圾邮件。 假设黑名单的数量是数以亿计的，存放起来就是非常耗费存储空间的，布隆过滤器则是一个较好的解决方案。 把所有黑名单都放在布隆过滤器中，在收到邮件时，判断邮件地址是否在布隆过滤器中即可。

3、白名单处理

答：其实能做黑名单，也能做白名单，其实原理是一样的，配置布隆过滤器才是关键

4、扯到布隆过滤器的原理

1、扯到传统的hash算法

（1）hash算法

哈希函数的概念是：将任意大小的输入数据转换成特定大小的输出数据的函数，转换后的数据称为哈希值或哈希编码，也叫散列值

如果两个散列值是不相同的（根据同一函数）那么这两个散列值的原始输入也是不相同的。

这个特性是散列函数具有确定性的结果，具有这种性质的散列函数称为单向散列函数。

散列函数的输入和输出不是唯一对应关系的，如果两个散列值相同，两个输入值很可能是相同的，但也可能不同，

这种情况称为“散列碰撞（collision）”。

用 hash表存储大数据量时，空间效率还是很低，当只有一个 hash 函数时，还很容易发生哈希碰撞。

总结：传统的hash算法在存储大量数据的时候，很容易出现hash碰撞

（2）hash碰撞的例子（至少面试的时候，能答得出来hash碰撞的例子）

2、扯到布隆过滤器的数据结构

布隆过滤器原理

布隆过滤器(Bloom Filter) 是一种专门用来解决去重问题的高级数据结构。

实质就是一个大型位数组和几个不同的无偏hash函数(无偏表示分布均匀)。由一个初值都为零的bit数组和多个个哈希函数构成，用来快速判断某个数据是否存在。但是跟 HyperLogLog 一样，它也一样有那么一点点不精确，也存在一定的误判概率

添加key时

使用多个hash函数对key进行hash运算得到一个整数索引值，对位数组长度进行取模运算得到一个位置，

每个hash函数都会得到一个不同的位置，将这几个位置都置1就完成了add操作。

查询key时

只要有其中一位是零就表示这个key不存在，但如果都是1，则不一定存在对应的key。

结论：

有，是可能有

无，是肯定无

总结：数据结构其实一开始就记死的，就是一个很长的二进制数组+一系列随机hash算法映射函数，主要用于判断一个元素是否在集合中

进一步分析

当有变量被加入集合时，通过N个映射函数将这个变量映射成位图中的N个点，

把它们置为 1（假定有两个变量都通过 3 个映射函数）。

查询某个变量的时候我们只要看看这些点是不是都是 1， 就可以大概率知道集合中有没有它了 如果这些点，有任何一个为零则被查询变量一定不在， 如果都是 1，则被查询变量很可能存在， 为什么说是可能存在，而不是一定存在呢？那是因为映射函数本身就是散列函数，散列函数是会有碰撞的。

3、扯到布隆过滤器的实现原理

其实上一步就介绍了布隆过滤器的实现原理

4、分析布隆过滤器的误判率

布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位置1了，这样就无法判断究竟是哪个输入产生的，

因此误判的根源在于相同的 bit 位被多次映射且置 1。

这种情况也造成了布隆过滤器的删除问题，因为布隆过滤器的每一个 bit 并不是独占的，很有可能多个元素共享了某一位。

如果我们直接删除这一位的话，会影响其他的元素

特性

一个元素判断结果为没有时则一定没有，如果判断结果为存在的时候元素不一定存在。

布隆过滤器可以添加元素，但是不能删除元素。因为删掉元素会导致误判率增加。

例子：

比如我给布隆过滤器中添加一个A，通过hash得到的值：aaaaaa（在0,1,2,3位存储）

    如果我添加一个K，通过hash得到的值为：bbbbbbb（在0,1,2,3位存储）（这种情况很难出现）

    然后这时候我删除A，然后我们在过滤数据A的时候，发现通过hash计算得到（0,1,2,3位）这些位置上面都有占位（1bit），但是其实我们A被删除了

总：所以此时布隆过滤器就过滤失败。这就是布隆过滤器不能删除数据的原因，其实这里也说明了布隆过滤器的误判率的缘由。

5、布隆过滤器的优缺点

优点：

    高效地插入和查询，占用空间少

缺点：

    1、不能删除元素。因为删掉元素会导致误判率增加，因为hash冲突同一个位置可能存的东西是多个共有的，你删除一个元素的同时可能也把其它的删除了。

       2、存在误判，不同的数据可能出来相同的hash值