Hadoop Yarn任务调度器

目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。

具体设置详见：yarn-default.xml文件

<property>
    <description>The class to use as the resource scheduler.description>
    <name>yarn.resourcemanager.scheduler.classname>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulervalue>
property>

 

1 FIFO调度器。先进先出，同一时间队列中只有一个任务在执行。

 

2 容量调度器。多队列，每个对列内部先进先出，同一时间队列中只有一个任务在执行，队列的并行度为队列的个数。

 

3 公平调度器。多队列，每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行，队列的并行度大于等于队列的个数。

 

在生产环境中，一般使用容量调度器或公平调度器。