《Data-Intensive_Text_Processing0Awith_MapReduce》笔记第3章

3.1介绍通过本地聚合减少网络的传输量

第一种方法，通过在map中使用HashMap来聚合数据，HashMap的key是map中的key

为了避免可能的内存溢出，可以对输入的行进行计数，当达到一定的行数的时候，将map全部输出，或者将出现次数低的输出，保留出现次数多的key，与后续的数据融合。

mapreduce框架不保证combiner每次都能调用，在计算均值的时候，reducer不能当做combiner来用。这时候也不能写一个与reducer不同的combiner，因为combiner不能改变输输入输出的类型，并且是可选的，如果改了，reduce就无法识别输入了。

3.2介绍两种设计模式 pairs 和 stripes

举例如何计算词共现矩阵。词共现矩阵考察一句话中两个词共现的的频率。

pairs map输出的方式如下Emit(pair (w; u); count 1)；

stripes的map输出方式：Emit(Term w; Stripe H)；其中H是一个HashMap,两层for循环都完成以后才输出一个。

3.3介绍相对频率

3.4介绍二次排序

3.5排序的不同方法：map端的，reduce端的，memory-backed的方式