浅谈YARN架构与原理

一、什么是YARN

YARN是Hadoop2.0版本引进的资源管理系统,直接从MR1演化而来

核心思想:将MR1中的JobTracker的资源管理作业调度两个功能分开,分别由ResourceManager和ApplicationMaster进程实现

ResourceManager:负责整个集群的资源管理和调度

ApplicationMaster:负责应用程序相关事务,比如任务调度、任务监控和容错等

YARN的出现,使得多个计算框架可以运行在同一个集群之中。

1.每一个应用程序对应一个ApplicationMaster

2.目前可以支持多种计算框架在YARN上面,比如MapReduce、storm、spark、flink

二、YARN的基本架构

浅谈YARN架构与原理_第1张图片

YARN的架构主要由ResourceManager、NodeManager、ApplicationMaster和Container组成

ResourceManager(RM)

RM 是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Schedule)和应用程序管理器(Application Manager,ASM)

YARN分层结构的本质是ResourceManager。这个实时控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分(计算、内存、带宽等)精心安排给基础NodeManager(YARN的每节点代理)。ResourceManager还与ApplicationMaster一起分配资源,与NodeManager一起启动和监视它们的基础应用程序。在此上下文中,ApplicationMaster承担了以前的TaskTracker的一些角色,ResourceManager承担了JobTracker的角色。

a)调度器(Schedule)

调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。该调度器是一个“纯调度器”,它不再从事任何与具体应用程序相关的工作。

b)应用程序管理器(Application Manager)

应用程序管理器负责管理整个系统中所有的应用程序,包括应用程序提交、调度协调资源以及启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它。

ApplicationMaster(AM)

ApplicationMaster管理一个在YARN内运行的应用程序的每个实例。ApplicationMaster负责协调来ResourceManager的资源,并通过NodeManager监视容器的执行和资源的使用(cpu、内存等资源分配)。

NodeManager(NM)

NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终身管理到监视资源的跟踪节点健康。MRv1 通过插槽管理Map和Reduce任务执行,而NodeManager管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN继续使用HDFS层,它的主要NameNode主要用于元数据服务,而DataNode用于分散在一个集群中的复制存储服务。

NM是每个节点上的资源和任务管理器。一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container运行状态;另一方面,它接收并处理来自AM的Container 启动/停止等各种请求。

Container

Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。

YARN会为每个任务分配一个Container,且该任务只能用该Container中描述的资源。要使用一个YARN集群,首先需要来自包含一个应用程序的客户请求。

ResourceManager协商一个容器的必要资源,启动一个ApplicationMaster来表示已经提交的应用程序。通过使用一个资源请求协议,ApplicationMaster协商每个节点上供应程序使用的资源容器。执行应用程序时,ApplicationMaster监视容器,直到完成。当应用完成时,ApplicationMaster从Resourcemanager注销其容器,执行周期就完成了。

三、YARN工作流程

浅谈YARN架构与原理_第2张图片

1、用户向YARN提交应用程序,其中包括用户程序、相关文件、启动ApplicationMaster命令、ApplicationMaster程序等。

2、YARN中的ResourceManager为应用程序分配一个容器,在该容器中启动一个ApplicationMaster。

3、ApplicationMaster会首先向ResourceManager注册。

4、ApplicationMaster采用轮询的方式向ResourceManager申请资源。

5、ResourceManager向ApplicationMaster分配容器资源。

6、在容器中启动任务(运行环境、脚本)。

7、各个任务向其对应的ApplicationMaster汇报自己的运行状态和进度。

8、应用程序运行完毕后,ApplicationMaster与ResourceManager通信,要求注销和关闭自己。

你可能感兴趣的:(hadoop)