Haskell 中使用 BloomFilter(布隆过滤器）处理大规模数据

今天一个统计任务，需要从一个巨大的列表（几亿条）

中找出属于另一个小点的列表的记录，小表有3千多条。

使用bloomfilter 算法简化，bloomfilter 的介绍在谷歌中文blog上有一篇。 简单的说就是用一个位串做筛子，用一组hash
函数作映射。 先用小表创建这个位串过滤器，形象的说就是在纸带上打孔。 全都打好后，用这个筛子来过滤大表，大表中的元素经过hash函数，如果能全
部通过纸带上的孔，就算通过，否则就过滤掉。

bloomfilter 的一个特点是：过滤有误差，误差通过过滤函数以及位串的长度两个变量可以计算出来。

Haskell hackage 上有一个 bloomfilter 的库，很易用。

安装：  cabal install bloomfilter

http://hackage.haskell.org/package/bloomfilter

Data.BloomFilter
   * Data.BloomFilter.Easy
   * Data.BloomFilter.Hash

使用的时候， 先通过 suggestSizing 函数获得推荐的 hash函数个数以及位串长度：

suggestSizing   Source
:: Int  expected maximum capacity
-> Double       desired false positive rate (0 < e < 1)
-> (Int, Int)


然后创建一个过滤器：

fromListB       Source
::
=> a -> [Hash]  family of hash functions to use
-> Int  number of bits in filter
-> [a]  values to populate with
-> Bloom a

例如： filt = fromListB (cheapHashes 3) 1024 ["foo", "bar", "quux"]

使用过滤器过滤值：

elemB :: a -> Bloom  a -> Bool