Partitioner和Combiner两个阶段

Partitioner编程

    将有一些共同特性的数据,写入到同一个文件里.

排序和分组

     在map和reduce阶段进行排序时，比较的是k2。v2是不参与排序比较的。

     如果要想让v2也进行排序，需要把k2和v2组装成新的类，作为k2，

     才能参与比较。如果想自定义排序规则，被排序的对象要实现

     WritableComparable接口，在compareTo方法中实现排序规则，

     然后将这个对象当做k2，即可完成排序分组时也是按照k2进行比较的。

Combiners编程

     1.每一个map会产生大量的输出,combiner的作用就是在map端对输出

       先做一次合并,以减少传输到reducer的数据量.

     2.combiner最基本是实现本地key的归并,具有类似本地reduce功能

       如果不用combiner,那么所有的结果都是reduce完成,效率会相对降低,

     3.使用combiner,先完成的map会在本地聚合,提升速度.

     PS:Combiner的输出是Reducer的输入,Combiner绝对不能改变最终的计算结果.

        所以从个人角度来说,Combiner只应用于那种Reducer的输入key/value与

        输出key/value类型完全一致,且不影响最终结果的场景.比如:累加,最值等.

本文出自 “为了手指那个方向” 博客，谢绝转载！