Yarn 的三种调度器

先进先出调度器(FIFO)

单队列,根据任务提交先后顺序,先来先执行。
优点:简单。
缺点:不支持多队列,生产环境很少用。
Yarn 的三种调度器_第1张图片

容量调度器(Capacity Scheduler)

Hadoop 2.7.2 默认的调度器

  1. 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
  2. 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
  3. 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
  4. 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。
    Yarn 的三种调度器_第2张图片

公平调度器(Fair Scheduler)

CDH版本的yarn 调度器默认
第一个程序在启动时可以占用其他队列的资源(100%占用),当其他队列有任务提交时,占用资源的队列需要将资源还给该任务。还资源的时候,效率比较慢。

  1. 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
  2. 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
  3. 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
  4. 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。

容量调度器:优先选择资源利用率低的队列
公平调度器:优先选择对资源的缺额比例大的

Yarn 的三种调度器_第3张图片

你可能感兴趣的:(Hadoop,大数据,yarn,hadoop)