【Hadoop入门学习系列之三】YARN原理和资源调度

一.Hadoop YARN产生背景

• Mapreduce1.0版本固有的问题
  

  • 扩展性受限
  • 单点故障
  • 难以支持MR之外的计算
• 资源利用率
  
• 运维成本和数据共享【多计算框架各自为战，数据共享困难】
  
  •  MR：离线计算框架
     Storm：实时计算框架
     Spark：内存计算框架
  • 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本， 而共享模式通常需要少数管理员即可完成多个框架 的统一管理。
• 数据共享
  
  • 随着数据量的暴增，跨集群间的数据移动不仅需花 费更长的时间，且硬件成本也会大大增加，而共享集群模式可让多种框架共享数据和硬件资源，将大大减小数据移动带来的成本。

二. Hadoop YARN基本构成与资源调度

1.YARN基本架构

• YARN基本架构
  
• ResourceManager
  
  • 整个集群只有一个，负责集群资源的统一管理和调度
  • 详细功能
    处理客户端请求
    启动/监控ApplicationMaster
    监控NodeManager
    资源分配与调度
• NodeManager
  
  • 整个集群有多个，负责单节点资源管理和使用
  • 详细功能
    单个节点上的资源管理和任务管理
    处理来自ResourceManager的命令
    处理来自ApplicationMaster的命令
• ApplicationMaster
  
  • 每个应用有一个，负责应用程序的管理
  • 详细功能
    数据切分
    为应用程序申请资源，并进一步分配给内部任务
    任务监控与容错
• Container
  
  • 对任务运行环境的抽象
  • 描述一系列信息
    任务运行资源（节点、内存、CPU）
    任务启动命令
    任务运行环境

2.YARN运行过程

3.YARN的容错性

• ResourceManager
  存在单点故障；
  正在基于ZooKeeper实现HA。
• NodeManager
  失败后，RM将失败任务告诉对应的AM；
  AM决定如何处理失败的任务。
• ApplicationMaster
  失败后，由RM负责重启；
  AM需处理内部任务的容错问题；
  RMAppMaster会保存已经运行完成的Task，重启后无需重新运行。

4.YARN调度框架

• 双层调度框架
  RM将资源分配给AM
  AM将资源进一步分配给各个Task
• 基于资源预留的调度策略
  资源不够时，会为Task预留，直到
  资源充足
  与“all or nothing”策略不同（Apache Mesos）

5.YARN资源调度器

• 多类型资源调度
  
  • 采用DRF算法
    （论文：“Dominant Resource Fairness: Fair Allocation of Multiple Resource Types”）
    目前支持CPU和内存两种资源
• 提供多种资源调度器
  
  • FIFO
  • Fair Scheduler
  • Capacity Scheduler
• 多租户资源调度器
  
  • 支持资源按比例分配
  • 支持层级队列划分方式
  • 支持资源抢占

6.YARN资源隔离方案

• 支持内存和CPU两种资源隔离
  
  • 内存是一种“决定生死”的资源
  • CPU是一种“影响快慢”的资源
• 内存隔离
  
  • 基于线程监控的方案
  • 基于Cgroups的方案
• CPU隔离
  
  • 默认不对CPU资源进行隔离
  • 基于Cgroups的方案

7.YARN支持的调度语义

• 支持的语义
  
  • 请求某个特定节点/机架上的特定资源量
  • 将某些节点加入（或移除）黑名单，不再为自己分配这些节点上的资源
  • 请求归还某些资源
• 不支持的语义
  
  • 请求任意节点/机架上的特定资源量
  • 请求一组或几组符合某种特质的资源
  • 超细粒度资源
  • 动态调整Container资源

三.Hadoop YARN上的计算框架

1.YARN设计目标

• 通用的统一资源管理系统
  
  • 同时运行长应用程序和短应用程序
• 长应用程序
  
  • 通常情况下，永不停止运行的程序
  • Service、HTTP Server等
• 短应用程序
  
  • 短时间（秒级、分钟级、小时级）内会运行结束的程序
  • MR job、Spark Job等

2.以YARN为核心的生态系统

【1】离线计算框架：MapReduce

• 将计算过程分为两个阶段，Map和Reduce
  
  • Map 阶段并行处理输入数据
  • Reduce阶段对Map结果进行汇总
• Shuffle连接Map和Reduce两个阶段
  
  • Map Task将数据写到本地磁盘
  • Reduce Task从每个Map Task上读取一份数据
• 仅适合离线批处理
  
  • 具有很好的容错性和扩展性
  • 适合简单的批处理任务
• 缺点明显
  
  • 启动开销大、过多使用磁盘导致效率低下等

【2】DAG计算框架：Tez

• 多个作业之间存在数据依赖关系，并形成一个依赖关系有向 图（ Directed Acyclic Graph），该图的计算称为“DAG计算”
• Apache Tez：基于YARN的DAG计算框架
  
  • 运行在YARN之上，充分利用YARN的资源管理和容错等功能；
  • 提供了丰富的数据流(dataflow）API；
  • 扩展性良好的“Input-Processor-Output”运行时模型；
  • 动态生成物理数据流关系。
    
    未使用Tez
    
    使用Tez
    

Tez 应用场景

• 直接编写应用程序
  
  • Tez提供了一套通用编程接口
  • 适合编写有依赖关系的作业
• 优化Pig、Hive等引擎
  
  • 下一代Hive：Stinger
  • 好处1：避免查询语句转换成过多的MapReduce作业后产 生大量不必要的网络和磁盘IO
  • 好处2：更加智能的任务处理引擎

【3】流式计算框架：Storm

• 流式（Streaming）计算，是指被处理的数据像流水一样不断流入系统，而系统需要针对每条数据进行实时处理和计算，并永不停止（直到用户显式杀死进程）；
• 传统做法：由消息队列和消息处理者组成的实时处理网络 进行实时计算；
  
  • 缺乏自动化
  • 缺乏健壮性
  • 伸缩性差
    
    
    

【4】内存计算框架：Spark

• 克服MapReduce在迭代式计算和交互式计算方面的不足；
• 引入RDD（ Resilient Distributed Datasets）数据表示模型；
• RDD是一个有容错机制，可以被并行操作的数据集合，能够被缓存到内存或磁盘上。

spark on yarn

四.MapReduce 2.0与YARN

• 一个MR应用程序的成功运行需要若干模块：
  
  • 任务管理和资源调度
  • 任务驱动模块（MapTask、ReduceTask）
  • 用户代码（Mapper、Reducer…）
• MapReduce 2.0和YARN区别：
  
  • YARN是一个资源管理系统，负责资源管理和调度
  • MapReduce只是运行在YARN上的一个应用程序
  • 如果把YARN看做“ android”，则MapReduce只是一个“ app”
• MapReduce2.0组成：
• YARN(整个集群只有一个)
• MRAppMaster（一个应用程序一个）
• 用户代码（ Mapper、 Reducer…）
• MapReduce 1.0和MapReduce 2.0区别：
  
  • MapReduce 1.0是一个独立的系统，直接运行在Linux之上
  • MapReduce 2.0则是运行YARN上的框架，且可与多种框架一起 运行在YARN上

五.总结

本博客主要介绍了YARN的产生背景，整体架构，运行在yarn上面的hadoop生态系统，最后介绍了Mapreduce2.0与YARN的区别。YARN是一个资源调度的框架和平台，可以理解为一个操作系统，在这个“操作系统上面可以安装运行N多个软件，比如storm，spark等系统，完成某一项特定的功能。YARN的功能就是为这些应用提供资源和任务调动，HDFS就相当于一块硬盘，用来存储软件系统所需要的数据。