海量数据处理1

What is 海量数据？

数据量太大，导致要么是无法在较短时间内迅速解决，要么由于数据量太大，无法一次性装入内存而导致传统方法无法解决

What is 海量数据处理 ？

基于海量数据的查找，统计，运算等操作

---

---

常见的对海量数据的处理方法

分治 —— Hash映射

在对大文件进行处理时，若文件过大，无法一次性读入内存，可以考虑采用Hash映射的方法将文件中的元素映射到不同小文件中，然后在依次处理各个小文件，最后合并处理结果，这样就降低了问题的规模

---

常见问题

1. TopK问题

描述：在大规模数据处理中，会经常出现一类问题：如何寻找出最大的前k个数，或最小的k个数。
若这些数据能一次性装入内存，快排的时间复杂度为O(n)或堆排序的时间复杂O(nlogk)空间O(1)
但是在面对海量数据时，快排的一次划分就不能再使用！但堆结构依旧可以使用

堆是海量数据处理的常用工具之一

例1：

有一个1GB文件，里面一行是一个词，词的大小不超过16字节，内存限制为1MB，返回频数最高的100个词 （2012.百度）

解析：

可以采用分治法：
顺序读文件，对于每个词x，取 hash(x) % 5000，然后根据值存到5000个小文件中，记为X0，X1，……，X4999，这样每个小文件大小为200KB左右
如果其中有文件的大小超过了1MB，还可以按照类似的方法继续往下分，直到不超过。
对每个小文件，统计每个小文件中出现的词及相应频率（可用树或hash_map），并分别取出频率最大的100个词（可用含100个结点的最小堆结构），将这100个词及相应的频数存入文件，这样又得到5000个有序文件（每个文件有100个词），下一步就是把这5000个文件进行归并排序的过程。

---

例2：

海量日志数据，提取出某日访问百度次数最多的那个IP，假设当前机器可用内存较小，无法一次性读入日志文件（2012.百度）

解析

• 方案1：使用分而治之的思想
  为了保证海量数据分成几个小块后，每个小块中的元素都互不相同，也就是说，值相同的元素要被分到同一数据块中，可以使用hash的方法：
  hash(value) % n，n就是要分的块数
  这样在每个小块中再使用hash_map的方法统计每个value的频数，之后再利用堆排序对每个小块的频数进行排序，具体过程如下
  1. IP地址最多有2^32 = 4G种取值可能，按照IP地址的hash(IP)%1024的值，将海量日志存储到1024个小文件中，每个小文件最多包含4MB个IP地址
  2. 对于每个小文件，可以构建一个IP作为Key，出现次数作为Value的Hash_map，并记录当前出现次数最多的一个IP地址
  3. 有了1024个小文件中出现次数最多的IP，我么就可以轻松得到总体上出现次数最多的IP

---

Bit_map

原理：使用位数来表示某些元素是否存在，由于采用bit为单位来存储数据，因此储存空间方面可以大大节省，故适用于海量数据的快速查找，判重，删除等

Bloom Filter：布隆过滤器

可视为Bit_map的拓展