布隆过滤器

布隆过滤器原理

我们经常需要去判断一个元素是否在一个集合中。比如在字处理软件中，需要判断一个单词是否拼写正确（就是要判断它是否在已知的字典中）；FBI需要核实一个嫌疑人名字是否在嫌疑名单上；网络爬虫需要判断一个网址是否已被访问过。

1. 直接的方法是到集合中逐个判断，复杂度为O(n)。在使用哈希表来存储时，可以快速准确判断，但是哈希表的存储效率较低。比如过滤垃圾邮箱，全世界少说有几十亿个垃圾邮件地址。一个邮箱地址计算其信息指纹，一般为8个字节，并存储到哈希表中。而哈希表的存储效率一般为50%，因此一个Email要占用16个字节，一亿个邮件地址大约要1.6GB，即16亿字节内存。因此存储几十亿个邮件地址可能需要上百GB的内存。

2. 而使用布隆过滤器只需要哈希表的1/8 - 1/4的空间就可以解决同样问题。
   布隆过滤器其实是一个很长的二进制向量和一系列随机映射函数。

e.g. 1亿个Email地址，判断其他邮件地址是不是在其中。

1. 建立一个16亿个比特位即2亿个字节的向量，并且bit位全清零；
2. 对一个Email地址，用8个不同的随机数产生器F1-8, 产生8个信息指纹；
3. 用随机数产生器G将8个信息指纹映射到1-16亿中的8个自然数，并将其设置为1.
4. 对一亿个Email地址全部这样处理。

检测可疑Email地址：用相同的8个随机数产生器对这个地址产生8个信息指纹，然后将8个指纹对应到布隆过滤器的8个比特位，如果可疑Email地址在黑名单上，对应的bit位一定是1，这样就可以准确确定是否为黑名单。

布隆过滤器不会漏掉黑名单上的任何一个可疑地址，但是有较小的可能把一个地址误判为黑名单中的地址。这是由于邮件地址在布隆过滤器对应的8个位置被其他地址设置为1。

补救方法：建立一个白名单库，存储那些容易被误判的邮件地址。