Map/Reduce中公平调度器配置

一、背景

一般来说，JOB的执行就是FIFO的过程（先进先出），这样的方式资源得不到充分的使用。所以配置了一下公平调度。

二、配置实现

1、环境：hadoop0.20.2

2、拷贝/jz/hadoop-0.20.2/contrib/fairscheduler/hadoop-0.20.2-fairscheduler.jar到hadoop的lib目录下，并复制到集群所有机器上。

3、修改mapred-site.xml，内容如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
<name>mapred.job.tracker</name>
<value>m131:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx3072m</value>
</property>

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>

<property>
<name>mapred.jobtracker.taskScheduler</name>
<!--<value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value>-->
<value>org.apache.hadoop.mapred.FairScheduler</value>
<description>The class responsible for scheduling the tasks.</description>
</property>

</configuration>

4、重启集群服务，然后访问http://192.168.3.131:50030/scheduler显示页面

三、总结

１、更多的配置内容可以参看/jz/hadoop-0.20.2/docs/fair_scheduler.html文档

2、值得注意，使用公平调度可以并发的执行任务，但是执行的时间会延长。

3、总的来说，如果需要多任务同时运行，可以使用公平调度。但是如果任务有先后顺序性，建议还是使用FIFO的模式。