YARN 笔记（一）

YARN是Yet Another Resource Negotiator的简称，它仍可认为采用了master/slave结构，总体上采用了双层调度架构，它主要以下几部分组成：

• ResourceManager：负责资源管理的主服务，整个系统只有一个，负责资源管理、调度和监控，它支持可插拔的资源调度器，自带了FIFO、Fair Scheduler和Capacity Scheduler三种调度器；
• NodeManager：负责单个节点的资源管理和监控，它定期将资源使用情况汇报给ResourceManager，并接收来自ApplicationMaster的命令以启动Container（YARN中对资源的抽象），回收Container
• ApplicationMaster：负责管理单个应用程序，它向ResourceManager申请资源，并使用这些资源启动内部的任务，同时负责任务的运行监控和容错等；
• Container：对资源的抽象，它封装了某个节点上的CPU、内存等资源，ApplicationMaster只有获得一个Container后才能启动任务，另外，ApplicationMaster本身也是运行在一个Container之中。

• 用户将应用程序提交到ResourceManager上
• ResourceManager为应用程序ApplicationMaster申请资源，并与某个NodeManager通信，以启动ApplicationMaster；
• ApplicationMaster与ResourceManager通信，为内部要执行的任务申请资源，一旦得到资源后，将于NodeManager通信，以启动对应的任务。
• 所有任务运行完成后，ApplicationMaster向ResourceManager注销，整个应用程序运行结束。