Hadoop Map&Reduce个数优化设置以及JVM重用

 

       Hadoop与JVM重用对应的参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。

 

       比如在集群中配置每个slave节点最多同时运行16个map和2个reduce。那么在map阶段，slave节点会启动最多16个JVM用于map。如下：

 

 

dm@slave01:/usr/local/hadoop/conf$ jps

4883 Child

4924 Child

4680 Child

4622 Child

4743 Child

4838 Child

4719 Child

4650 Child

4649 Child

5299 Jps

32296 TaskTracker

4663 Child

4767 Child

4897 Child

4794 Child

4878 Child

4698 Child

4633 Child

32049 DataNode

 

 

 

dm@slave01:/usr/local/hadoop/conf$ ps -e | grep java

12597 ?        00:00:02 java

12624 ?        00:00:02 java

12646 ?        00:00:02 java

12661 ?        00:00:02 java

12695 ?        00:00:01 java

12707 ?        00:00:02 java

12710 ?        00:00:02 java

12715 ?        00:00:02 java

12741 ?        00:00:02 java

12787 ?        00:00:01 java

12818 ?        00:00:01 java

12823 ?        00:00:02 java

12831 ?        00:00:01 java

12870 ?        00:00:01 java

12895 ?        00:00:01 java

12922 ?        00:00:01 java

32049 ?        00:00:38 java

32296 ?        00:00:14 java

 

      其中前两个是固定的进程。

 

       为每个task启动一个新的JVM将耗时1秒左右，对于运行时间较长（比如1分钟以上）的job影响不大，但如果都是时间很短的task，那么频繁启停JVM会有开销。

       如果我们想使用JVM重用技术来提高性能，那么可以将mapred.job.reuse.jvm.num.tasks设置成大于1的数。这表示属于同一job的顺序执行的task可以共享一个JVM，也就是说第二轮的map可以重用前一轮的JVM，而不是第一轮结束后关闭JVM，第二轮再启动新的JVM。

       那么最多一个JVM能顺序执行多少个task才关闭呢？这个值就是mapred.job.reuse.jvm.num.tasks。如果设置成-1，那么只要是同一个job的task（无所谓多少个），都可以按顺序在一个JVM上连续执行。

       如果task属于不同的job，那么JVM重用机制无效，不同job的task需要不同的JVM来运行。

       JVM重用技术不是指同一Job的两个或两个以上的task可以同时运行于同一JVM上，而是排队按顺序执行。

       一个tasktracker最多可以同时运行的task数目由mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum

决定，并且这两个参数在mapred-site.xml中设置。其他方法，如在JobClient端通过命令行-Dmapred.tasktracker.map.tasks.maximum=number或者conf.set("mapred.tasktracker.map.tasks.maximum","number")设置都是无效的。

 

mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum的设置可参考:

 

Genie13的Hadoop 关于最大map reducer数目