yarn架构极其调度原理

一、整体架构

1.ResourceManager
1).整个集群同一时间提供服务的只有一，负责集群资源的统一管理和调度
2).处理客户端的请求，提交一个进程或杀死一个进程等
3).监控我们的NodeManager,一旦某个NodeManager挂掉，那么该NM上运行的任务需要告诉我们的ApplicationMaster如何进行处理
2.NodeManager
1).整个集群中有多个NM，负责自己本身节点的资源管理和使用
2).定时向ResourceManager汇报本节点的资源使用情况
3).接受并处理来自ResourceManager的各种命令
4).处理来自ApplicationManager的命令
5).单个节点的资源调度
3.ApplicationMaster
1).每个应用程序对应一个ApplicationMaster
2).为应用程序向ResourceManager申请资源（core、memory）分配给内部task
3).需要与NodeManager通信：启动、停止task，task是运行在container里面，AM也是运行在container里面的
4).ApplicationMaster相当于RM和NM之间的中介，必须经过他进行调度，通过任意一个NodeManager启动，RM向他分配任务，AM分配给各个NM
4.Container
1).封装了CPU、Memory等等资源的一个容器
2).是一个任务运行环境的抽象Maptask，Reducetask
3).在这里面运行

二、架构流程

(1)MR程序提交到客户端所载节点，客户端向resourceManager申请一个application进程
(2)RM返回application提交路径
(3)客户端向指定路径提交资源
(4)提交完毕后向RM申请运行mrAppMaster（ApplicationMaster）
(5)RM将用户的请求初始化一个task，按照资源调度器进行分发，任务随机发送给其中一个nodeManager，并在该NM上创建MrAppMaster（MrAppMaster只有一个）
(6)该NM接收到任务后，创建container容器，将job所需要的资源下载到本地
(7)mrAPPMaster向RM申请maptask容器，RM将运行maptask任务分配给其他的NodeManager，其他的NodeManager分别领取任务并创建container容器。
(8)RM向其他接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，执行maptask，maptask对数据分区排序。
(9)所有的maptask执行完毕后，mrAppMaster向RM申请容器，运行reduce task
(10)reduce task向maptask获取相应分区的数据。
(11)Reducetask运行完毕后，会自动注销自己

图是自己画的，不太好，大概参考下就好，文字叙述的还算清楚，如若有错，请告诉我