理解Yarn的执行流程和组件作用

Yarn引入案例

 

 

 

1.学生找院长报到，院长给学生一个学号

2.院长比较忙，继续找主任处理学生事务

3.系主任找院办给学生分配资源（书本）

4.主任找张老师教授java

5.张老师给学生安排座位

6.学生向主任反馈学习情况

7.主任向院长反馈学生信息

8.家长找院长询问孩子学习情况，院长找主任向家长解释

 

Yarn的执行流程

 

 

<1>client找ResourceManager提交作业，ResourceManager向client分配一个Jobid(注：ApplicationsManager和Resource Scheduler)

<2>RM中的ApplicationManager连接一个NodeManager,让NodeManager创建一个ApplicationManager处理客户端作业请求

<3>AM连接RM中ApplicaitonManager申请NodeManager

<4>ApplicaionManager连接ResourceManager中的ApplicationManager去给client的作业申请资源（CPU、内存、磁盘、网络）

<5>ApplicationManager连接 NodeManager,发送client job作业程序和申请的资源（CPU、内存、磁盘、网络）

<6>NodeManager启动Container运行 job的不同任务

<7>Container进程运行状态实时反馈给ApplicationManager

<8>ApplicationManager反馈任务状态信息给RM中的ApplicationManager

<9>client可以连接RM或者AM查询job的执行情况

注意：NM启动后去RM上注册，会不断发送发送心跳，说明处于存活状态

 

转载于:https://www.cnblogs.com/zhichun/p/11385880.html