[C++ 系列] 85. 布隆过滤器

文章目录

      • 1. 布隆过滤器提出
      • 2. 布隆过滤器概念
      • 3. 布隆过滤器的插入
      • 4. 布隆过滤器的查找
      • 5. 布隆过滤器删除
      • 6. 如何选择哈希函数个数和布隆过滤器长度
      • 6. 布隆过滤器优点
      • 7. 布隆过滤器缺陷
      • 8. 布隆过滤器应用

1. 布隆过滤器提出

讲述布隆过滤器的原理之前,我们先思考一下,通常你判断某个元素是否存在用的是什么?应该蛮多人回答 HashMap 吧,确实可以将值映射到 HashMapKey,然后可以在 O ( 1 ) O(1) O(1) 的时间复杂度内返回结果,效率奇高。但是 HashMap 的实现也有缺点,例如存储容量占比高,考虑到负载因子的存在,通常空间是不能被用满的,而一旦你的值很多例如上亿的时候,那 HashMap 占据的内存大小就变得很可观了。

还比如说你的数据集存储在远程服务器上,本地服务接受输入,而数据集非常大不可能一次性读进内存构建 HashMap 的时候,也会存在问题。

还有这样一个生活中的例子:

我们在使用新闻客户端看新闻时,它会给我们不停地推荐新的内容,它每次推荐时要去重,去掉那些已经看过的内容。问题来了,新闻客户端推荐系统如何实现推送去重的? 用服务器记录了用户看过的所有历史记录,当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选,过滤掉那些已经存在的记录。 如何快速查找呢?

  1. 用哈希表存储用户记录,缺点:浪费空间
  2. 用位图存储用户记录,缺点:不能处理哈希冲突,空间浪费仍然较大
  3. 将哈希与位图结合,即布隆过滤器

2. 布隆过滤器概念

布隆过滤器是由布隆(Burton Howard Bloo)在 1970 年提出的 一种紧凑型的、比较巧妙的概率型数据结构,特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”,它是用多个哈希函数,将一个数据映射到位图结构中。此种方式不仅可以提升查询效率,也可以节省大量的内存空间。
[C++ 系列] 85. 布隆过滤器_第1张图片

// 假设布隆过滤器中元素类型为K,每个元素对应5个哈希函数
template<class K, class KToInt1 = KeyToInt1, 
                  class KToInt2 = KeyToInt2,
                  class KToInt3 = KeyToInt3,
                 class KToInt4 = KeyToInt4,
                 class KToInt5 = KeyToInt5>
class BloomFilter
{
public:
    BloomFilter(size_t size)  // 布隆过滤器中元素个数
        : _bmp(10*size)
        , _size(0)
    {}
    
private:
    BitMap _bmp;
    size_t _size;   // 实际元素的个数
}

3. 布隆过滤器的插入

在此借用下@知乎.Young Chen的图片,很能反映问题!!

布隆过滤器是一个 bit 向量或者说 bit 数组,长这样:
[C++ 系列] 85. 布隆过滤器_第2张图片
如果我们要映射一个值到布隆过滤器中,我们需要使用多个不同的哈希函数生成多个哈希值,并对每个生成的哈希值指向的 bit 位置 1,例如针对值 “baidu” 和三个不同的哈希函数分别生成了哈希值 1、4、7,则上图转变为:
[C++ 系列] 85. 布隆过滤器_第3张图片
我们现在再存一个值 “tencent”,如果哈希函数返回 3、4、8 的话,图继续变为:
[C++ 系列] 85. 布隆过滤器_第4张图片
参见代码如下:

 bool Insert(const K& key)
{
    size_t bitCount = _bmp.Size();
 
    size_t index1 = KToInt1()(key)%bitCount;
    size_t index2 = KToInt2()(key)%bitCount;
    size_t index3 = KToInt3()(key)%bitCount;
    size_t index4 = KToInt4()(key)%bitCount;
    size_t index5 = KToInt5()(key)%bitCount;
 
    _bmp.Set(index1);
    _bmp.Set(index2);
    _bmp.Set(index3);
    _bmp.Set(index4);
    _bmp.Set(index5);
 
    _size++;
}

4. 布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中,因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找:分别计算每个哈希值对应的比特位置存储的是否为零,只要有一个为零,代表该元素一定不在哈希表中,否则可能在哈希表中。

bool IsInBloomFilter(const K& key)
{
    size_t bitCount = _bmp.Size();
 
    size_t index1 = KToInt1()(key)%bitCount;
    if(!_bmp.Test(index1))
        return false;
 
    size_t index2 = KToInt2()(key)%bitCount;
    if(!_bmp.Test(index2))
        return false;
 
    size_t index3 = KToInt3()(key)%bitCount;
    if(!_bmp.Test(index3))
        return false;
 
    size_t index4 = KToInt4()(key)%bitCount;
    if(!_bmp.Test(index4))
        return false;
 
    size_t index5 = KToInt5()(key)%bitCount;
    if(!_bmp.Test(index5))
        return false;
 
    return true; // 有可能在
}

注意:布隆过滤器如果说某个元素不存在时,该元素一定不存在,如果该元素存在时,该元素可能存在,因为有些哈希函数存在一定的误判。

比如:在布隆过滤器中查找 "alibaba" 时,假设 3 个哈希函数计算的哈希值为:1、3、7,刚好和其他元素的比特位重叠,此时布隆过滤器告诉该元素存在,但实该元素是不存在的。

5. 布隆过滤器删除

布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。

比如:删除上图中 "tencent" 元素,如果直接将该元素所对应的二进制比特位置0,“baidu” 元素也被删除了,因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法:将布隆过滤器中的每个比特位扩展成一个小的计数器,插入元素时给k个计数器( k 个哈希函数计算出的哈希地址)加一,删除元素时,给k个计数器减一,通过多占用几倍存储空间的代价来增加删除操作。

缺陷:

  1. 无法确认元素是否真正在布隆过滤器中
  2. 存在计数回绕

6. 如何选择哈希函数个数和布隆过滤器长度

很显然,过小的布隆过滤器很快所有的 bit 位均为 1,那么查询任何值都会返回 可能存在,起不到过滤的目的了。布隆过滤器的长度会直接影响误报率,布隆过滤器越长其误报率越小。

另外,哈希函数的个数也需要权衡,个数越多则布隆过滤器 bit 位置位 1 的速度越快,且布隆过滤器的效率越低;但是如果太少的话,那我们的误报率会变高。
[C++ 系列] 85. 布隆过滤器_第5张图片
至于如何推导,可参考知乎大佬的文章。

6. 布隆过滤器优点

  1. 增加和查询元素的时间复杂度为: O ( K ) O(K) O(K), ( K K K 为哈希函数的个数,一般比较小),与数据量大小无关
  2. 哈希函数相互之间没有关系,方便硬件并行运算
  3. 布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大优势,可视为一种加密方式,并且无法逆向破解
  4. 在能够承受一定的误判时,布隆过滤器比其他数据结构有这很大的空间优势,以位图为基础,10M 空间就有 10*1024*1024*8 约等 8000W 种情况了
  5. 数据量很大时,布隆过滤器可以表示全集,其他数据结构不能
  6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

7. 布隆过滤器缺陷

  1. 有误判率,即存在假阳性(False Position),即不能准确判断元素是否在集合中(补救方法:再建立一个白名单,存储可能会误判的数据)
  2. 不能获取元素本身
  3. 一般情况下不能从布隆过滤器中删除元素
  4. 如果采用计数方式删除,可能会存在计数回绕问题

8. 布隆过滤器应用

[C++ 系列] 85. 布隆过滤器_第6张图片

你可能感兴趣的:([C++系列],C++系列,布隆过滤器)