哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题

目录

题目一:给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址?

哈希切割

题目二:给定100亿个整数,设计算法找到只出现一次的整数?

解法一:哈希切割

解法二:利用2个位图

解法三:利用1个位图

题目三:给两个文件,分别有100亿个整数,我们只有1G内存,如何找到两个文件交集?

解法一:哈希切割

解法二:位图

位图拓展:如何获取数据的交集、并集、差集?

题目四:位图应用变形:1个文件有100亿个int,1G内存,设计算法找到出现次数不超过2次的所有整数

题目五:给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件交集?分别给出精确算法和近似算法

精确算法:哈希切割

近似算法:布隆过滤器


题目一:给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址?

        一般情况下,忽略大小,统计IP出现的次数,使用解决即可~

        但是题目中,100G的数据,有点太大了【一次性无法加载到内存中】,怎么办呢?

        思路:我们呢,可以去尝试着,将这个大的文件拆分成若干个小的文件,但此时,又出现了一个问题,如何拆分呢?

哈希切割

——哈希切割,就是根据IP地址的内容进行拆分,将相同IP存储到同一个文件中

接下来,我们分析:

  • IP本身就是一个字符串,我们将IP哈希成一个整数
  • 再将这个整数%200,也就是将100G的文件,拆分成了200份小文件
  • 读取每个小文件的内容,统计文件当中,IP出现的次数【Map】

题目二:给定100亿个整数,设计算法找到只出现一次的整数?

解法一:哈希切割

        将数字哈希到对应的小文件中,相同的数字肯定是在一起的,遍历每个小文件,统计数字出现次数,此时,就可以知道哪个数字只出现一次了

解法二:利用2个位图

一共整数42亿个,大约占用内存512M【42亿 /8 /1024 /1024 = 512M】

  • 没出现:00
  • 出现一次:01
  • 出现两次:10
  • 出现两次以上:11

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题_第1张图片

当进去后,用一个循环,同时遍历两个bitSet即可得到结果 

解法三:利用1个位图

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题_第2张图片

 之前位图确定一个数的位置是采用val/8,val%8,在这里就是:ArrayIndex = val /4【确定数字所在的大致区间】,BitIndex = val % 4 * 2【确定该数字的位置,由于一个数字用2个比特位表示,所以另一个就是BitIndex+1】


题目三:给两个文件,分别有100亿个整数,我们只有1G内存,如何找到两个文件交集?

解法一:哈希切割

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题_第3张图片

解法二:位图

  • 遍历第一个文件,将第一个文件数据读取出来,存放在bitSet中
  • 遍历第二个文件,每次读一个数据,就查看bitSet中,之前是否存在
  • 如果存在,就是交集 

位图拓展:如何获取数据的交集、并集、差集?

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题_第4张图片 


题目四:位图应用变形:1个文件有100亿个int,1G内存,设计算法找到出现次数不超过2次的所有整数

解法一:哈希切割

 解法二:使用2个位图

同上述的题2中解法相同


题目五:给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件交集?分别给出精确算法和近似算法

精确算法:哈希切割

同题3解法相同

近似算法:布隆过滤器

  • 把第一个文件当中的query映射到布隆过滤器中
  • 读取第二个文件,每个query,都去布隆过滤器中查找【存在误判】

好啦,本期结束咯~ 

我们下期见~~~

你可能感兴趣的:(高阶数据结构,哈希算法,算法)