[原创] 学习笔记:海量数据处理总结

  本文简要总结了一下海量数据处理的常见方法和思路。总结的比较粗糙,主要作为知识提纲使用。请各位高手不吝赐教。

  另外,最近在BAE上学习用 WordPress 搭建了独立博客,欢迎大家有空去转转!本博客文章将同步更新。

  博客地址:http://panwenhai.duapp.com/

  

1、海量数据处理总体思路:分配任务、单独解决、合并结果
  • 分配任务:
    • 分而治之Hash
    • 桶划分思想
  • 单独解决:
    • 统计各个元素出现的次数:Hash Map,N-Bit Map,Trie-Tree,倒排索引
    • 找寻最大(小)的N个元素:堆结构,快排思想,局部淘汰法
    • 查找给定元素是否存在在其中:Hash Map,1-Bit Map,Bloom Filter,高位比较
    • 寻找中位数:桶划分思想
    • 搜索引擎,查找关键字:倒排索引
  • 合并结果:
    • 1、归并排序思想合并
    • 2、桶划分思想合并
2、分而治之+Hash
  • 通过Hash取模的方法( Hash(ip)%1024 ),将大量数据分成一个一个的小文件,再进行处理(内排序)。
  • Hash取模的方法,使得相同的元素,会被分配到相同的文件中,对于单独文件操作,就可以得到对应元素的结果。
  • 处理之后,采用归并的方法,对于小文件的结果进行合并,从而得到最终结果(外排序)。
  • 当数据量较大,而又必须进行彻底的处理时,可以采用这种思想
 
3、Hash Map
  • 通过一次扫描,可以建立Key与Value对的hash表,来统计某个元素出现的次数。
 
4、N-Bit Map 位图方法
  • 与 Hash Map 相似,只是Key通常为元素值进行直接索引,value值为bit串,用来记录某个元素的状态。
  • N的大小控制bit串长度,用来控制状态的总数。(如:N=2时,00表示不存在,01表示出现一次,10表示出现多次,11无意义)
  • Bit Map 本身的长度,表示可记录元素的个数
  • 当N = 1,采用元素值作为地址直接索引时,可以表示40亿个不重复的unsigned int值是否存在。
 
5、Bloom Filter
  • 有一定错误概率,但相比于单纯的bit_set节省空间。
  • bit_set + k个独立hash函数:将hash函数的结果作为索引值,将对应位置1。查找元素时,如果发现K个hash函数所得到的位置都是1,则认为对应元素存在。
  • 输入元素个数n,确定位数组m的大小及hash函数个数
    • m应该>=nlg(1/E)*lge
    • k=(ln2)*(m/n)
  • Bloom Filter:元素 映射为  位数组
  • Counting Bloom Filter:在Bloom filter 中的位扩展为 counter,支持删除操作。
  • Spectral Bloom Filter:将元素与出现次数关联。
 
6、堆结构
  • 通过堆的特性,找寻出现最多(少)的前N个元素。
  • 需要先统计出各个元素出现的次数(可以用Hash Map),这一步只是找前N个。
  • 找最多,用小顶堆,找最大,用大顶堆(先比较堆顶元素,如果不满足要求,则直接轮询下一个,如果符合要求,插入堆中)
  • 时间复杂度O(X log Y),X为所有元素的个数,Y为堆中元素的个数
  • 扩展:双堆,一个大顶堆和一个小顶堆,可以用来维护中位数。大顶堆存储较小的一半数字,小顶堆存储较大的一半数字。每次插入元素后,适当移动根节点保持两个堆数字相等或相差1.
 
7、Trie 树
  • 前缀树,统计各个单词出线的次数。
  • 每个节点都是一个字母,前缀相同的,就不新建节点了。节点的内容是这个单词出现的次数。
  • 时间复杂度: O(n*le)(le表示单词的平准长度)
 
8、快排思想找前N个元素
  • 利用快速排序思想,每次分割时,仅考虑满足要求的一些,当接近N时,采用普通排序算法排序。
 
9、局部淘汰法找前N个元素
  • 从所有数据中,选取前N个元素,排序。然后扫描剩余元素,与排好序的最后一个元素相比,如果比它小(大),则删除最后一个元素,利用插入排序法的思想插入序列中。
  • 时间复杂度:O(100w*100)
 
10、MapReduce思想
  • 在用分而治之hash分配任务后,并不一个一个文件进行处理,而是采用分布式的方法,同时处理多个文件,在处理之后,再进行合并。
 
11、桶划分
  • 本质上是分而治之,重在“分”的技巧
  • 划分元素的取值范围,将落在一个范围内的元素分成一组
  • 单独处理每一组的元素,最终合并结果
  • 如:找中位数,将int划分成2^16个区域,统计在各个区域内的数字个数,就可以判断出在哪个区域的第几个元素就是中位数。然后对那个区域内的元素排序即可获得
 
12、高位比较
  • 从很多数中,查找某一个数字是否出现过。
  • 由最高位开始比较,0,1二分,之后依次类推。近似于折半查找。O(logn)
 
13、倒排索引
  • 单词作为索引,单词出现的位置所组成的集合做为内容。
  • 搜索引擎,关键字查询,查找那些文件包含了对应关键字。

 

谢谢您阅读本文!作者独立博客地址:http://panwenhai.duapp.com/,欢迎大家有空去转转!

 

你可能感兴趣的:(学习笔记)