第23章 布隆过滤器

以下内容学习、摘录自《数学之美》

在日常生活或工作中，包括开发软件时，经常要判断一个元素是否在个集合中。比如，在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在FBI，需要核实一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，需要确认一个网址是否已访问过，等等。

最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用散列表（ Hash table，也叫哈希表）来存储的，优点是快速准确，缺点是耗费存储空间。当集合比较小时，这个问题不明显，当集合规模巨大时，散列表存储效率低的问题就显现出来了。

比如像 Yahoo、 Hotmail和 gmail那样的公众电子邮件（ Email）提供商，必须设法过滤来自发送垃圾邮件的人（ Spacer）的垃圾邮件。一种做法就是记录下那些发垃圾邮件的 Email地址。由于那些发送者会不断注册新的地址，全世界少说也有几十亿个发垃圾邮件的地址。采用散列表，每存储一亿个Emai地址，就需要1.6GB的内存（用散列表实现的具体办法是将每一个 Email地址对应成一个8字节的信息指纹，然后将这些信息指纹存入散列表，由于散列表的存储效率一般只有50%，因此一个 Email地址需要占用16个字节。一亿个地址大约要1.6GB的内存）。因此，存储几十亿个邮件地址可能需要上百GB的内存。

今天，我们介绍一种称作布隆过滤器的数学工具，它只需要散列表1/8到1/4的大小就能解决同样的问题。

布隆过滤器（ Bloom Filter）是由伯顿·布隆（ Burton bloom）于1970年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。接下来用上面的例子来说明其工作原理。

假定存储一亿个电子邮件地址，先建立一个16亿个比特位即两亿字节的向量，然后将这16亿个比特位全部清零。对于每一个电子邮件地址X，用8个不同的随机数产生器（F1，F2，…，F8）产生8个信息指纹（f1，f2，…，f8）。再用一个随机数产生器G把这8个信息指纹映射到1-16亿中的8个自然数g1，g2，…，98。现在把这8个位置的比特位全部设置为1。对这一亿个电子邮件地址都进行这样的处理后，一个针对这些电子邮件地址的布隆过滤器就建成了，见下图。

现在，让我们看看如何用布隆过滤器来检测一个可疑的电子邮件地址Y是否在黑名单中。用相同的8个随机数产生器（F1，F2…，F8）对这个地址产生8个信息指纹S1，S2，…，S8，然后将这8个指纹对应到布隆过滤器的8个比特位，分别是t1，t2…，t8。如果Y在黑名单中，显然，t1，t2，…，t8对应的8个比特值一定是1。这样，再遇到任何在黑名单中的电子邮件地址，都能准确地发现。

布隆过滤器决不会漏掉黑名单中的任何一个可疑地址。但是，它也有一个不足之处：它有极小的可能将一个不在黑名单中的电子邮件地址也判定为在黑名单中，因为有可能某个好的邮件地址在布隆过滤器中对应的8个位置“恰巧”被（其他地址）设置成1。

布隆过滤器的错判在检验上被称为“假阳性”。这个概率很小，但是究竟有多小，是否可以忽略？估算假阳性的概率并不难，书中介绍了方法。假定一个元素用16比特，并有8个散列函数，那么假阳性的概率是万分之五，在大多数应用中是可以接受的。

布隆过滤器背后的数学原理在于两个完全随机的数字相冲突的概率很小，因此，可以在很小的误识别率条件下，用很少的空间存储大量信息。补救误识别的常见办法是再建立一个小的白名单，存储那些可能被别误判的信息。布隆过滤器中只有简单的算术运算，因此速度很快，使用方便。

点击这里可以查看《数学之美》的其它学习笔记。