YARN 资源抢占模式参数分析

### 基本概念

1. 集群资源定义

  YARN的资源抽象比较简单，只有两种资源：内存和CPU。而资源数量是管理员手动设置的，每个NM节点可以贡献一定数量的内存（MB）和CPU，由RM统一管理，不一定是真实的内存和CPU数。其中内存资源是比较关键的，直接决定任务能否成功。如果某个任务需要的内存过多，可能无法执行，或者OOM。CPU资源的限制比较弱，只限定了一台NM上能并发执行多少任务。如果并发的过多，执行的可能比较慢。

2. 调度器

    * FIFO：只有一个队列，所有用户共享。资源分配的过程也非常简单，先到先得，所以很容易出现一个用户占满集群所有资源的情况。

    * CapacityScheduler：在FIFO的基础上，增加多用户支持，每个用户都可以使用特定量的资源，但集群空闲时，也可以使用整个集群的资源。

    * FairScheduler：每个用户只有特定数量的资源可以用，不可能超出这个限制，即使集群整体很空闲。支持多资源类型。

3. 调度策略

    * Dominant Resource Fairness (DRF)(默认) - 根据 CPU 和内存公平调度资源。

    * Fair (FAIR) - 仅根据内存公平调度资源。

    * First-In, First-Out (FIFO) - 先进先出。

4. 资源分配算法

    * Max-min fairness算法：如果每一个用户都有足够地请求，会给予每个用户一份均等的资源。尽量不让任何用户被“饿死”。

    * DRF：让所有application的“主要资源占比”尽量均等，包括CPU及内存。

5. 资源分配过程

### 资源抢占模型

1. 在资源调度器中，每个队列可设置一个最小资源量和最大资源量，其中，最小资源量是资源紧缺情况下每个队列需保证的资源量，而最大资源量则是极端情况下队列也不能超过的资源使用量。

2. 开启资源抢占后当某个队列资源不足时，调度器会杀死其他队列的container以释放资源，分给这个队列。这个特性默认是关闭的。关键点有两个：1.启动抢占式调度的条件？2.选择哪些container去杀掉？

3. 每个队列都有minShare、fairShare属性。这两个属性是抢占式调度的阈值。当一个队列使用的资源小于fairShare*X（defaultFairSharePreemptionThreshold）、或者小于minShare，并且持续超过一定时间（这两种情况的超时时间不同，可以设置），就会开始抢占式调度。

4. Schedulabe的fairShare是会不断变化的（minShare一般不会变化）。如果队列的minResource、maxResource、权重等属性变化，fairShare都要重新计算。application开始或结束，也都要重新计算fairShare。FairScheduler中有一个线程UpdateThread，默认每0.5秒调用一次update方法，就会重新计算fairShare。（具体算法：https://blog.csdn.net/zhanyuanlin/article/details/72667293#1-steady-fair-share-%E5%8E%9F%E7%90%86%E5%92%8C%E8%AE%A1%E7%AE%97%E6%96%B9%E5%BC%8F）。

5. 当FairScheduler决定开始抢占时，首先会计算要抢得的资源量。对于使用资源量小于minShare的，要恢复到minShare；对于使用量小于fairShare*X的，需要恢复到fairShare。将所有要恢复的资源量相加，得出要抢的的资源总量。然后遍历所有LeafQueue，找到所有资源用量大于fairShare的app，将他们在运行的container加入一个List，按优先级升序排列。然后遍历，优先杀死优先级低的container。当释放足够的资源后，抢占停止。（具体的筛选过程：http://bigdatadecode.club/YARN%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8BFair%20Scheduler%20part2.html）

6. 总结一下筛选过程，计算出需要抢占的资源总数之后就是找出抢哪些container。找哪些container的流程是从root队列一层一层的查找可以抢占的队列，然后从队列中找到Application，最后找到可以抢占的container。筛选被抢占队列原则：选择超过fairShare最多的队列；在app中选择container是根据container的优先级，抢占优先级最低的container，container的优先级是由数字标识的，数字越大优先级越低。

7. 在YARN中，队列是按照树形结构组织的，一个队列当前实际可以使用的资源量R取决于最小资源量A（由管理员配置）、队列资源需求量（处于等待或者运行状态的应用程序尚需的资源总量）和同父兄弟队列的空闲资源量C（多余资源可共享给其他队列），这意味着R在不同时间点的取值是不同的，可以按照递归算法求出R=F(A, B, C)，这样，如果一个队列当前正在使用资源量U>R，则需从该队列中抢占(U-R)资源。

8. 为了尽可能避免资源浪费，YARN优先选择优先级低的Container作为资源抢占对象，且不会立刻杀死Container，而是将释放资源的任务留给应用程序自己：ResourceManager将待杀死的Container列表发送给对应的ApplicationMaster，以期望它采取一定的机制自行释放这些Container占用的资源，比如先进行一些状态保存工作后，再将对应的Container杀死，以避免计算浪费，如果一段时间后，ApplicationMaster尚未主动杀死这些Container，则ResourceManager再强制杀死这些Container。

CDH版本开启资源抢占参数分析：

1. Fair Share Preemption Threshold：介于0-1之间，代表一个比重，可以得到一个临界值，当队列使用资源小于这个比重X*fairShare时开始抢占。

2. FairSharePreemptionTimeout：如果队列在minimum share preemption timeout指定的时间内未获得被承诺的最小共享资源，调度器就会抢占其他容器。

3. MinSharePreemptionTimeout：如果队列在fair share preemption timeout指定的时间内获得的资源仍然地域其公平共享份额的一半，那么调度器就会抢占其他容器。