哈希扩展应用--位图与布隆过滤器

哈希扩展应用–位图与布隆过滤器介绍及实现

文章目录

    • 哈希扩展应用--位图与布隆过滤器介绍及实现
  • 一、位图
    • 1. 概念
    • 2. 实现
    • 3. 应用
  • 二、布隆过滤器
    • 1. 引入
    • 2. 概念
    • 3. 实现
    • 4. 应用

编译环境:vs2013


一、位图

1. 概念

位图:就是用一个二进制比特位来表示数据存在与否的信息。
1->表示存在;0->表示不存在。
适用于海量数据,数据无重复,通常用来判断某个数据是否存在。

哈希扩展应用--位图与布隆过滤器_第1张图片
同时,也可以将位图进行置1的过程逆推,算出存储元素的值,以及判断某个数据是否在位图中,从而判断此数在整组数据中是否存在。
哈希扩展应用--位图与布隆过滤器_第2张图片

2. 实现

bitset文档
标准库也实现了一份位图:

成员方法 作用
set() 将比特位进行置1
reset() 将比特位进行置0
test() 检测对应位的比特位是否为1
count() 置1比特位的个数(位图中存储的数据个数)
size() 位图中比特位的总数

哈希扩展应用--位图与布隆过滤器_第3张图片哈希扩展应用--位图与布隆过滤器_第4张图片
实现:

//  BitSet.hpp
#pragma once
#include
#include
namespace bs
{
	template<size_t N>
	class bitset
	{
	public:
		bitset()
			:_bst(N / 8 + 1)
			, _size(0)
		{}	
		//1.比特位置1
		bitset<N>& set(size_t pos)
		{
			assert(pos < N);
			if (test(pos))
				return *this;

			size_t whichByte = pos / 8;
			size_t whichBit = pos % 8;

			_bst[whichByte] |= (1 << whichBit);
			++_size;

			return *this;
		}
		//2.比特位置0
		bitset<N>& reset(size_t pos)
		{
			assert(pos < N);
			if (!test(pos))
				return *this;

			size_t whichByte = pos / 8;
			size_t whichBit = pos % 8;

			_bst[whichByte] &= ~(1 << whichBit);
			--_size;
			return *this;
		}
		//3.判断比特位是否为1
		bool test(size_t pos)
		{
			assert(pos);
			size_t whichByte = pos / 8;
			size_t whichBit = pos % 8;
			return 0 != (_bst[whichByte] & (1 << whichBit));
		}
		size_t size()
		{
			return _size;
		}
		size_t count()
		{
			return N;
		}
	private:
		std::vector<unsigned char> _bst;
		size_t _size; //表示比特位为1的个数
	};
}

哈希扩展应用--位图与布隆过滤器_第5张图片

3. 应用

  1. 快速查找某个元素是否在一集合中
  2. 可以排序和元素的去重
    一个比特位只能表示一个数据是否存在,存在为1,不存在为0,所以不管有多少个一样的数值,其在位图中也只能存储一次,即将该比特位置1表示存在,所以可以去重。
  3. 求两个集合A和B的交集和并集
    交集:先将集合A映射到位图中去,再将集合B的数据映射到位图中,若该存储前位置已经置1,则表示该数为集合A的元素,依次进行下去,可求出交集。
    并集:将两个集合中所有元素都映射到位图中去,然后再进行数据的收集,收集过程也是并集排序的过程。
  4. 操作系统中磁盘块标记

二、布隆过滤器

1. 引入

我们在使用新闻客户端看新闻时,它会给我们不停地推荐新的内容,它每次推荐时要去重,去掉那些已经看过的内容。那其中,新闻客户端推荐系统如何实现推送去重的? 服务器中记录了用户看过的所有历史记录,当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选,过滤掉那些已经存在的记录,筛选出未看过的内容进行推送。 那如何快速查找呢?

  1. 用哈希表存储用户记录,缺点:浪费空间
  2. 用位图存储用户记录,缺点:位图一般只能处理整形,如果内容编号是字符串,就无法处理了。
  3. 那就将哈希与位图结合,即布隆过滤器

2. 概念

布隆过滤器是由布隆(Burton Howard Bloom)在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构,特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”,它是用多个哈希函数,将一个数据映射到位图结构中
不仅可以提升查询效率,也可以节省大量的内存空间。
哈希扩展应用--位图与布隆过滤器_第6张图片
(1)布隆过滤器可以用来告诉你”某样东西一定不存在或者可能存在“,和用多个哈希函数将数据映射到位图结构中。

例如,我们将字符串"hello"和"world"映射到布隆过滤器中。布隆过滤器是哈希和位图的相结合,所以它也是0/1数字来表征数据是否存在的状态标志位,所以其针对的数据也是整型数据,其也是解决位图表示状态太少的情况,用多个比特位一起来表示数据信息。故也得先将字符串通过哈希函数转换成数字。
哈希扩展应用--位图与布隆过滤器_第7张图片
在将两字符串hello和world都用相同的哈希函数进行映射时,一些位置会产生冲突,对于一些字符串的查找可能会产生误差,这就是为什么说布隆过滤器可以用来告诉你”某样东西一定不存在或者可能存在“。
用一个例子来说明一下:
哈希扩展应用--位图与布隆过滤器_第8张图片

故当在布隆过滤器中查找某一数据时,若相应位都置1,表示数据可能存在;若相应位其中一个位置为0,表示数据一定不存在。

为减少查找偏差,可以采用多个哈希函数,增加数据的表示位,概率上尽可能减少冲突。
(2)布隆过滤器数据查找

思想:是将一个元素用多个哈希函数映射到一个位图中,因此被映射到的位置的比特位一定为1。
查找:

  • 分别计算每个哈希值对应的比特位置存储的是否为零,只要有一个为零,代表该元素一定不在哈希表中,否则可能在哈希表中。

  • 布隆过滤器如果说某个元素不存在时,该元素一定不存在,如果该元素存在时,该元素可 能存在,因为有些哈希函数存在一定的误判。

(3)布隆过滤器优点

  1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数,一般比较小),与数据量大小无关
  2. 哈希函数相互之间没有关系,方便硬件并行运算
  3. 布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大优势
  4. 在能够承受一定的误判时,布隆过滤器比其他数据结构有这很大的空间优势
  5. 数据量很大时,布隆过滤器可以表示全集,其他数据结构不能
  6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

(3)布隆过滤器缺点

  1. 有误判,即存在假阳性(False Position),即不能准确判断元素是否在集合中
    (补救方法:再建立一个白名单,存储可能会误判的数据)
  2. 不能获取元素本身
  3. 一般情况下不能从布隆过滤器中删除元素

3. 实现

//Common.h
//字符串转化函数
struct BKDRHash
{
	size_t operator()(const string& s)
	{
		// BKDR
		size_t value = 0;
		for (auto ch : s)
		{
			value *= 31;
			value += ch;
		}
		return value;
	}
};


struct APHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (long i = 0; i < s.size(); i++)
		{
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ s[i] ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ s[i] ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

 
struct DJBHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash += (hash << 5) + ch;
		}
		return hash;
	}
};
#pragma once 
#include"Common.h"
#include"BitSet.hpp"
#include
using namespace std;
namespace bs
{
	template<class T, size_t N, class TtoInt1 = BKDRHash, class TtoInt2 = APHash , class TtoInt3 = DJBHash >
	class bloomfilter
	{
	public:
		bloomfilter()
			:_size(0)
		{}
		void Insert(const T& data)
		{
			size_t allbitsize = _bst.count();

			size_t pos1 = TtoInt1()(data) % allbitsize;
			size_t pos2 = TtoInt2()(data) % allbitsize;
			size_t pos3 = TtoInt3()(data) % allbitsize;

			_bst.set(pos1);
			_bst.set(pos2);
			_bst.set(pos3);
			_size++;
		}
		bool Find(const T& data)
		{
			size_t allbitsize = _bst.count();
			size_t pos = TtoInt1()(data) % allbitsize;
			if (!_bst.test(pos))
				return false;
			pos = TtoInt2()(data) % allbitsize;
			if (!_bst.test(pos))
				return false;
			pos = TtoInt3()(data) % allbitsize;
			if (!_bst.test(pos))
				return false;
			//数据可能存在
			return true;
		}
	private:
		bitset<N * 3> _bst;
		size_t _size;
	};
}

哈希扩展应用--位图与布隆过滤器_第9张图片
为降低字符串转化数字的比特位产生冲突情况,可以多选用几个哈希函数。
各种字符串哈希算法

4. 应用

位图和布隆过滤器都适用于处理海量数据的情况。

你可能感兴趣的:(C++,哈希算法,数据结构,链表,算法,开发语言)