MapReduce架构原理、执行过程详解

MapReduce架构组成

Hadoop1.x版本架构组成的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗严重，可靠性和性能上都有缺陷。所以引进了新的Hadoop2.x的架构--基于Yarn的架构

image.png

术语解读

• ResourceManager：Yarn的资源管理器，负责管理和分配集群的资源，如内存、cpu、磁盘等
• NodeManager：Yarn的节点管理器，负责管理和监控每个节点的计算容器（Container），管理Container的生命周期、监控每一个Container的资源使用情况、追踪节点健康状况，与ResourceManager保持通信。
• ApplicationMaster：应用管理器，负责监控单个作业整个生命周期的任务进度和状况，向resourcemanager发送心跳检查。
• Hdfs：分布式文件系统，用与上述不同实体之间文件的共享

MapReduce基本执行过程

执行过程大致是以下几步：1、作业的提交（图中1~4步骤） 2、作业的初始化（图5~7） 3、作业的分配（图8~10） 4、作业的执行（图11） 5、作业进度的更新 6、作业的完成或者失败

mapreduce.png

图片上我都说的比较清楚了，再补充几点：

• 检查作业说明是指输出目录是否存在，如果存在那么久不提交，会报错
• 计算输入分片是根据block块的大小决定的，如1G文件，而HDFS设置中block size是128M，那么久分为8个输入分片，每个分片是一个单独的Map任务。
• Uber作业是指比较小的作业，这种作业，就和自己在同一个容器中就可以了，map reduce都在同一个容器，而如果是比较大的作业，是要申请资源的，首先为map申请，map达到百分之5的时候为reduce申请。
• 任务是一个java应用 main class是YarnChild

MapReduce Shuffle

无标题3.png

MapReduce Combiner
每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。
combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。
如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。
注意：Combiner的输出是Reducer的输入，Combiner绝不能改变最终的计算结果。所以从我的想法来看，Combiner只应该用于那 种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。

解释一下

问：为什么使用Combiner？
21 * 答：Combiner发生在Map端，对数据进行规约处理，数据量变小了，传送到reduce端的数据量变小了，传输时间变短，作业的整体时间变短。
22 *
23 * 问：为什么Combiner不作为MR运行的标配，而是可选步骤哪？
24 * 答：因为不是所有的算法都适合使用Combiner处理，例如求平均数。
25 *
26 * 问：Combiner本身已经执行了reduce操作，为什么在Reducer阶段还要执行reduce操作哪？
27 * 答：combiner操作发生在map端的，处理一个任务所接收的文件中的数据，不能跨map任务执行；只有reduce可以接收多个map任务处理的数据。