Apache Hadoop YARN

简介

YARN（Yet Another Resource Negoitator）是一个分布式的通用资源管理系统，其产生的原因是为了解决MapReduce框架的不足，在兼容旧版MapReduce框架的同时，提供了更好的扩展性、资源利用率以及用户灵活性。

MapReduce的不足（YRAN出现的需求）

• 在Hadoop v1框架中无法运行non-MapReduce的Job
• 在MRV1中，JobTracker是集群事务的集中处理点（资源管理，跟踪资源消耗/可用，任务的声明周期管理），存在单点故障且风险较高。
• 随着硬件价格的不断下降以及集群的规模的不断扩大，MapReduce框架的可伸缩性可能会满足不了项目的需求。
• 在MRV1中，把资源强制划分为map/reduce slots，两者不可替代使用，当只有map task时，reduce slot不能用；当只有reduce task是，map slot不能用，容易造成资源利用不足。
• Hadoop作为一种共享、多租户的系统，已被广泛使用在生产环境中，hadoop技术栈的升级可以会对用户项目造成巨大的影响，所以MapReduce的兼容性至关重要。

YARN详解

YARN的基本思想是将JobTracker的两大主要功能：资源管理和Job调度/监控 拆分为两个单独的守护进程：一个全局的ResourceManager(RM)和每个应用程序对应着一个的ApplicationMaster(AM)。RM和每个节点对应着一个的NodeManager（NM）则构成了新的、通用的、以分布式地管理应用程序的操作系统。

• ResourceManager：为所有应用程序分配资源；拥有一个可插拔地scheduler组件，为运行中的应用程序分配对应的capacity、queues或者其他因素。
• NodeManager：负责启动application’s 的containers，监控containers的资源使用情况并报告给RM。
• ApplicationMaster：与具体应用框架有关的实体（可以是基于MapReduce的Job，也可以是Non-MapReduce的Job），得跟RM的Schedule协商请求资源containers，并且监控containers的状态和监控它们的进度。
• Container：YARN对资源的一种抽象，这里的资源指内存，CPU等。