Hadoop之Yarn工作机制详解

Hadoop之Yarn工作机制详解

---

目录

1. Yarn概述
2. Yarn基本架构
3. Yarn工作机制
4. 作业提交全过程详解

---

1. Yarn概述

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

---

2. Yarn基本架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如下图所示。

---

3. Yarn工作机制

1. Yarn运行机制，如下图所示
   

2. 工作机制详解

   1. Mr程序提交到客户端所在的节点。

   2. Yarnrunner向Resourcemanager申请一个Application。

   3. rm将该应用程序的资源路径返回给yarnrunner。

   4. 该程序将运行所需资源提交到HDFS上。

   5. 程序资源提交完毕后，申请运行mrAppMaster。

   6. RM将用户的请求初始化成一个task。

   7. 其中一个NodeManager领取到task任务。

   8. 该NodeManager创建容器Container，并产生MRAppmaster。

   9. Container从HDFS上拷贝资源到本地。

   10. MRAppmaster向RM 申请运行maptask资源。

   11. RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。

   12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。

   13. MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。

   14. reduce task向maptask获取相应分区的数据。

   15. 程序运行完毕后，MR会向RM申请注销自己。

---

4. 作业提交全过程详解

作业提交全过程详解

1. 作业提交
   第1步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
   第2步：client向RM申请一个作业id。
   第3步：RM给client返回该job资源的提交路径和作业id。
   第4步：client提交jar包、切片信息和配置文件到指定的资源提交路径。
   第5步：client提交完资源后，向RM申请运行MrAppMaster。
2. 作业初始化
   第6步：当RM收到client的请求后，将该job添加到容量调度器中。
   第7步：某一个空闲的NM领取到该job。
   第8步：该NM创建Container，并产生MRAppmaster。
   第9步：下载client提交的资源到本地。
3. 任务分配
   第10步：MrAppMaster向RM申请运行多个maptask任务资源。
   第11步：RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
4. 任务运行
   第12步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
   第13步：MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。
   第14步：reduce task向maptask获取相应分区的数据。
   第15步：程序运行完毕后，MR会向RM申请注销自己。
5. 进度和状态更新
   YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。
6. 作业完成
   除了向应用管理器请求作业进度外, 客户端每5分钟都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。