Hadoop YARN学习之组件功能简述（3）

Hadoop YARN学习之组件功能简述（3）

1. YARN的三大组件功能简述：

• ResourceManager（RM）是集群的资源的仲裁者，
  
  • 它有两部分：一个可插拔的调度器和一个ApplicationManager，用于管理集群中的用户作业。
• NodeManager，位于每个节点上，管理该节点上用户作业和工作流。
• ApplicationMaster，用户作业生命周期管理者。
  
  • 是用户应用程序驻留的地方。

2. 三大组件构成了一个可扩展的、灵活的、高效的环境，来运行各种类型的大数据处理作业。

3. 组件功能协作简述

• ResourceManager动态的分配特定节点来运行应用程序。
• Container是绑定到特定集群节点的一组资源逻辑组合（如内存、核）
• 为了执行和跟踪这些资源分配，ResourceManager与运行在每个节点上的NodeManager进程交互。
• 基于可扩展性的需求，ResourceManager和NodeManager之间通过心跳来通信。
• NodeManager负责本地可以资源的监控，故障报告以及Container生命周期的管理（如杀死和启动作业）。ResourceManager依赖NodeManager来维护集群的全局视图。

4. YARN调度组件

• YARN有一个可插拔的调度器组件，根据不同的使用场景和用户需求，管理员可以选择简单的FIFO(先进先出），Capacity或者Fair Share Schedule。

  • FIFO先进先出
  • Capacity，允许多个组安全地共享一个大规模Hadoop集群。
  • Fair，公平调度器是将资源公平分配给应用的方法，使得所用在平均情况下随着时间的到相等的份额。
    
    • YARN Fair的新特性支持层次化队列。
  • YARN默认为Capacity调度组件

5. 在YARN中，MapReduce不再是工作流中的一部分，因为它只是一种ApplicationMaster控制的应用程序框架，在YARN环境下，其他框架已经可以使用或者正在开发中。