布隆过滤器

介绍

判断一个元素是否存在一个集合中？

常规思路：

• 数组
• 链表
• 树、平衡二叉树、Trie
• Map（红黑树）
• 哈希表

虽然上述数据结构配合常见的排序、二分搜索可以快速的处理大部分判断元素是否存在，但是当集合里面的元素足够大时，如果有500万条甚至一亿条记录时，消耗的内存将会很高，这个时候，布隆过滤器（Bloom Filter)就应运而生。

原理

布隆过滤器的核心实现就是一个超大的位数组和几个哈希函数，假设位数组的长度为m，哈希函数的个数为k。

具体的操作流程：假设集合里面有3个元素{x, y, z}，哈希函数的个数为3。首先将位数组进行初始化，将里面每个位都设置位0。对于集合里面的每一个元素，将元素依次通过3个哈希函数进行映射，每次映射都会产生一个哈希值，这个值对应位数组上面的一个点，然后将位数组对应的位置标记为1。查询W元素是否存在集合中的时候，同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1，则可以判断该元素一定不存在集合中。反之，如果3个点都为1，则该元素可能存在集合中。注意：此处不能判断该元素是否一定存在集合中，可能存在一定的误判率。可以从图中可以看到：假设某个元素通过映射对应下标为4，5，6这3个点。虽然这3个点都为1，但是很明显这3个点是不同元素经过哈希得到的位置，因此这种情况说明元素虽然不在集合中，也可能对应的都是1，这是误判率存在的原因。

添加元素

• 将要添加的元素给k个哈希函数
• 得到对应的为数组的k个位置
• 将这k个位置设为1

查找元素

• 将要查询的元素给k个哈希函数
• 得到对应位数组上的k个位置
• 如果k个位置有一个或以上为0，则肯定不在集合中
• 如果k个位置全部为1，则可能在集合中