hadoop 学习笔记（3）-- YARN 简介

本部分主要是关于 YARN。Yarn 是在 hadoop 2 中引入的资源管理系统。用户代码并不会与其直接交互，但是许多分布式计算框架都是作为一个 Yarn 应用来运行的。

yarn applications

还有一些应用如 Pig，Hive，Crunch 等是运行在 MP，Spark 或 Tez 上的，不会与 Yarn 直接交互。

Yarn Application 运行

YARN 有两种 daemon 进程：

1. resource manager 每个集群一个，管理集群资源的使用
2. node manager 集群中每个 node 都有，启动和监控 containers。

通过 jcmd 可以看到这些 daemon 进程：

hadoop@millions-server:~$ jcmd
22256 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
22561 org.apache.hadoop.yarn.server.nodemanager.NodeManager
21973 org.apache.hadoop.hdfs.server.namenode.NameNode
22085 org.apache.hadoop.hdfs.server.datanode.DataNode
20141 sun.tools.jcmd.JCmd
22447 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager

Yarn 应用运行的过程可以用下图描述，容器请求可以表述为容器消耗的计算资源的量（主要包括 CPU 和内存）：

YARN 调度

当集群资源紧缺时，需要按照一些预定的策略来分配给不同的任务资源。有三种调度方式：

1. FIFO：
   先进先出，但是在共享型集群中不合适
2. Capacity scheduler（hadoop 默认的）：
   (1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。
   (2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们。
   (3) 支持优先级。队列支持作业优先级调度（默认是FIFO）
   (4) 多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源。
   (5) 基于资源的调度。 支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。
3. Fair Scheduler
   在多个 Job 间分配资源，如果只有一个 Job 则其享有全部资源，如果加入新的 Job，则资源在2个 Job 间分配。

Capacity Scheduler 的配置

对于 Capacity scheduler，会将 Job 提交到若干 Queue中，然后每个 Queue 是 FIFO 的，如果 Queue 中有超过一个 Job，并且有空闲资源，给这个 Queue 分配的资源是可以超过其预定的量的。

一个配置文件的示例（配置文件为 capacity-scheduler.xml），有层次的在各个队列之间分配资源比例：

 
    yarn.scheduler.capacity.root.queues
    dev,prod
    
      The queues at the this level (root is the root queue).
    
  

  
    yarn.scheduler.capacity.root.prod.capacity
    40
  

  
    yarn.scheduler.capacity.root.dev.capacity
    60
  

  
    yarn.scheduler.capacity.root.dev.maximum-capacity
    75
  

  
    yarn.scheduler.capacity.root.science.capacity
    50
  

  
    yarn.scheduler.capacity.root.dev.eng.capacity
    50
  

详细的配置说明在这里官方文档。

在提交 Job 时，可以指定 Queue，对于 MapReduce，可以指定 property mapreduce.job.queuename。

Fair Scheuler 配置

Fair 调度也有 Queue 的概念，资源在 Queue 之间是公平分配的，对同一个 Queue 中的 Job，资源同样是均匀分配的。比如 2 个 Queue：Queue1 Queue2；Queue1 有 Job1，Queue2 有 Job2 以及 Job3，则 Job1 使用 50% 资源， Job2 和 Job3 各 25% 资源。

在 yarn-site.xml 中 设置 yarn.resourcemanager.scheduler.class 可以修改默认的 scheduler：org.apache.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

Fair Scheuler 的配置文件为 fair-scheduler（可以通过 yarn.scheduler.fair.allocation.file 修改）:

  fair
  
    40
    fifo
  
  
    
    
  
  
    
    
    
  

defaultQueueSchedulingPolicy 默认为 fair，也可以指定为 FIFO 等。通过 weight 可以分配 Queue 之间分配资源的比例。更详细的配置细节见官方文档。

如何将 Job 放到指定的 Queue 中去由 queuePlacementPolicy 决定：对每一条 rule 逐一尝试。specified 指由应用自己指定 Queue 的名字，如果没有指定或指定的 Queue 不存在，则进入下一条；primaryGroup 指使用用户的 unix group 作为队列名称；最终默认的队列是 dev.eng，将会处理所有没有被处理的 Job。默认的策略是：

抢占式

配置 property yarn.scheduler.fair.preemption 设置为 true 可以使 Job 抢占式的获取资源，而不用等别人释放。

延迟以本地运行

配置 property yarn.scheduler.capacity.node-locality-delay 会使 scheduler 尝试等待一段时间以获取本地执行的机会（本地执行就是在数据所在的 node 运行）。

DRF 主要资源 Fairness

默认情况下占用资源主要指内存，如果打开了 DRF，那么在总资源中占比多的将会成为所谓的 DRF，以其在总资源中的占比来评价其所需资源。比如需要集群 6% 的 cpu 和 3% 的内存，那么 cpu 将成为主要资源。

打开 DRF 的方式：

1. 对于capacity scheduler，在 capacity-scheduler.xml 中设置 yarn.scheduler.capacity.resource-calculator 为 org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
2. 对于 fair scheduler，在 allocation 文件里设置顶层元素 defaultQueueSchedulingPolicy 为 drf。