【3-6】mapreduce执行过程【未完成,7弃】

首先client跟RM进行RPC通信,然后RM给你返回jobID,和存储jar包的路径。client根据这个路径进行一个拼接,拼接之后将jar包写入HDFS,写10份。

之后client将任务的描述信息(jobID,jar包存放位置,配置信息)给RM,RM把这些放在调度器里。然后NM开始领任务,然后下载jar包,然后启动一些子进程来运行mapreduce,yarchild【音译】里面放置了一些map对象和reduce对象,以后可以有多个mapper实例和reducer实例,可以分布到不同的机器上进行并行计算,计算完成之后再将数据写回到hdfs

1,2,3,4 看这4步

【3-6】mapreduce执行过程【未完成,7弃】_第1张图片



你可能感兴趣的:(【3-6】mapreduce执行过程【未完成,7弃】)