位图与布隆过滤器的原理及实现

位图

在谈什么是位图之前我们先来看一道"非常简单的题"：有40亿个无符号的整型数据，现在给定一个目标数字，判断这个数字是否在这40亿数据中。

1. 遍历，时间复杂度O(N)
2. 排序(O(NlogN))，利用二分查找: logN
3. 位图解决

数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。比如：

位图的实现

class Bitmap
{
public:
	Bitmap(size_t range)
	{
		//range 范围 加一防止出现没有比32大的数，计算出来全是0，不能开空间
		_bit.resize(range / 32 + 1);
	}

	//查询操作
	bool Test(size_t num)
	{
		int idx = num / 32;//整数位置
		int bitidx = num % 32;//在哪一位
		return _bit[idx] &(1<<bitidx);
	}

	void Set(size_t num)
	{
		int idx = num / 32;//整数位置
		int bitidx = num % 32;//在哪一位
		_bit[idx] |= (1 << bitidx);
	}

	void Reset(size_t num)
	{
		int idx = num / 32;//整数位置
		int bitidx = num % 32;//在哪一位
		_bit[idx] &= ~(1 << bitidx);
	}
private:
	vector<int> _bit;
};

• set：将对应的比特位置1操作

•   int idx = num / 32;//整数位置
    int bitidx = num % 32;//在哪一位
    _bit[idx] |= (1 << bitidx); //或的
  

• reset：将对用的比特位置0操作

•   int idx = num / 32;//整数位置
    int bitidx = num % 32;//在哪一位
    _bit[idx] &= ~(1 << bitidx);
  

• test：判断对应的比特位是0（不存在）还是1（存在）

•   int idx = num / 32;//整数位置
    int bitidx = num % 32;//在哪一位
    return _bit[idx] &(1<

位图的应用

• a.快速查找某个数据是否在一个集合中。

• b.排序。

• c.求两个集合的交集，并集等。

• d.操作系统中磁盘块标记。

布隆过滤器

我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？

1. 用哈希表存储用户记录，缺点：浪费空间
2. 用位图存储用户记录，缺点：不能处理哈希冲突
3. 将哈希与位图结合，即布隆过滤器

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

布隆过滤器的实现

struct HashStr1
{
	size_t operator()(const string &s)
	{
		size_t ret = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			ret *= 131;
			ret += s[i];
		}
		return ret;
	}
};
struct HashStr2
{
	size_t operator()(const string& s)
	{
		size_t ret = 0;
		size_t magic = 63689;
		for (size_t i = 0; i < s.size(); i++)
		{
			ret *= magic;
			ret += s[i];
			magic *= 378551;
		}
		return ret;
	}
};
struct HashStr3
{
	size_t operator()(const string& s)
	{
		size_t ret = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			ret *= 65599;
			ret += s[i];
		}
		return ret;
	}
};
template<class K , class Hash1 = HashStr1, class Hash2 = HashStr2, class Hash3 = HashStr3>
class bloomfilter
{
public:
	bloomfilter(size_t num)
		:_bs(5 * num)
		, _num(5 * num)
	{}
	void set(K key)
	{
		size_t index1 = Hash1()(key) % _num;
		size_t index2 = Hash2()(key) % _num;
		size_t index3 = Hash3()(key) % _num;
		_bs.Set(index1);
		_bs.Set(index2);
		_bs.Set(index3);
	}
	bool test(K key)
	{
		size_t index1 = Hash1()(key) % _num;
		if (_bs.Test(index1) == false)
			return false;
		size_t index2 = Hash2()(key) % _num;
		if (_bs.Test(index2) == false)
			return false;
		size_t index3 = Hash3()(key) % _num;
		if (_bs.Test(index3) == false)
			return false;
		return true;
	}
private:
	Bitmap _bs;
	size_t _num;
};

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。

比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的。

布隆过滤器优点

a.增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关。

b.哈希函数相互之间没有关系，方便硬件并行运算。

c. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势。

d.在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势。

e.数据量很大时，布隆过滤器可以表示全集，其他数据结构不能。

f.使用同一组散列函数的布隆过滤器可以进行交、并、差运算。

布隆过滤器缺陷

a.有误判率，即不能准确判断元素是否在集合中。

b.不能获取元素本身。

c.一般情况下不能从布隆过滤器中删除元素。

d.如果采用计数方式删除，可能会存在计数回绕问题。