Hadoop MapReduce Shuffle机制之Combiner合并 | 水一篇博客

Hadoop中的MapReduce是一种编程模型,用于大规模数据集的并行运算
在这里插入图片描述
下面的连接是我的MapReduce系列博客~配合食用效果更佳!

  • MapReduce 开发总结 | 内容过于精彩,别人女朋友看完都跟我跑了!

Combiner合并机制

  • Combiner合并也属于Shuffle机制
  • Combiner的父类是Reducer
  • CombinerReducer的区别在于运行时的位置
    • Combiner是在每一个MapTask所在的节点运行的
    • Reducer接收全局所有Mapper的输出结果
  • Combiner的意义就是对每一个MapTask的输出进行局部汇总,主要目的是为了减小网络的传输量
  • 并不是所有的场景都能适用Combiner,一般主要用于求和操作

实现Combiner的步骤就是继承Reducer,最后在Driver类通过setCombinerClass(类.class)设置进去就好了

你可能感兴趣的:(大数据学习笔记,Hadoop,网络,java,算法,hadoop,mapreduce)