浅谈YARN架构与原理
一、什么是YARN
YARN是Hadoop2.0版本引进的资源管理系统，直接从MR1演化而来
核心思想：将MR1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现
ResourceManager：负责整个集群的资源管理和调度
ApplicationMaster：负责应用程序相关事务，比如任务调度、任务监控和容错等
YARN的出现，使得多个计算框架可以运行在同一个集群之中。
1.每一个应用程序对应一个ApplicationMaster
2.目前可以支持多种计算框架在YARN上面，比如MapReduce、storm、spark、flink
二、YARN的基本架构
YARN的架构主要由ResourceManager、NodeManager、ApplicationMaster和Container组成
ResourceManager(RM)
RM 是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Schedule）和应用程序管理器（Application Manager，ASM）
YARN分层结构的本质是ResourceManager。这个实时控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分（计算、内存、带宽等）精心安排给基础NodeManager（YARN的每节点代理）。ResourceManager还与ApplicationMaster一起分配资源，与NodeManager一起启动和监视它们的基础应用程序。在此上下文中，ApplicationMaster承担了以前的TaskTracker的一些角色，ResourceManager承担了JobTracker的角色。
a）调度器（Schedule）
调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作。
b）应用程序管理器（Application Manager）
应用程序管理器负责管理整个系统中所有的应用程序，包括应用程序提交、调度协调资源以及启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它。
ApplicationMaster（AM）
ApplicationMaster管理一个在YARN内运行的应用程序的每个实例。ApplicationMaster负责协调来ResourceManager的资源，并通过NodeManager监视容器的执行和资源的使用（cpu、内存等资源分配）。
NodeManager（NM）
NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务，从监督对一个容器的终身管理到监视资源的跟踪节点健康。MRv1 通过插槽管理Map和Reduce任务执行，而NodeManager管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN继续使用HDFS层，它的主要NameNode主要用于元数据服务，而DataNode用于分散在一个集群中的复制存储服务。
NM是每个节点上的资源和任务管理器。一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container运行状态；另一方面，它接收并处理来自AM的Container 启动/停止等各种请求。
Container
Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。
YARN会为每个任务分配一个Container，且该任务只能用该Container中描述的资源。要使用一个YARN集群，首先需要来自包含一个应用程序的客户请求。
ResourceManager协商一个容器的必要资源，启动一个ApplicationMaster来表示已经提交的应用程序。通过使用一个资源请求协议，ApplicationMaster协商每个节点上供应程序使用的资源容器。执行应用程序时，ApplicationMaster监视容器，直到完成。当应用完成时，ApplicationMaster从Resourcemanager注销其容器，执行周期就完成了。
三、YARN工作流程
1、用户向YARN提交应用程序，其中包括用户程序、相关文件、启动ApplicationMaster命令、ApplicationMaster程序等。
2、YARN中的ResourceManager为应用程序分配一个容器，在该容器中启动一个ApplicationMaster。
3、ApplicationMaster会首先向ResourceManager注册。
4、ApplicationMaster采用轮询的方式向ResourceManager申请资源。
5、ResourceManager向ApplicationMaster分配容器资源。
6、在容器中启动任务（运行环境、脚本）。
7、各个任务向其对应的ApplicationMaster汇报自己的运行状态和进度。
8、应用程序运行完毕后，ApplicationMaster与ResourceManager通信，要求注销和关闭自己。