Yarn shuffle OOM错误分析及解决

前两周和同事一起分析了一下yarn shuffle oom的问题，最后他写了一个blog，我这里就不重复写了，把他的转载过来，他的blog写得都很有深度，推荐大家去看看。

原文地址：http://dj1211.com/?p=358

最近集群中一些任务经常在reduce端跑出Shuffle OOM的错误，具体错误如下：

2015-03-09 16:19:13,646 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : 

org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#14
        at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
        at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1550)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)
Caused by: java.lang.OutOfMemoryError: Java heap space
        at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:56)
        at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:46)
        at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.(InMemoryMapOutput.java:63)
        at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:297)
        at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:287)
        at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:411)
        at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:341)
        at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:165)

      先看一下基本流程，map端进行处理后将结果放在map端local路径中，map端不断心跳汇报给mrappmaster，在适当的阶段(另外可以写一个流程说明),reduce启动，reduce发送心跳给mrappmaster,获取已经结束的maptask对象。之后对已经结束的map进程的数据进行拉取俗称Shuffle，拉取是通过Fetcher线程进行的，随后进行sort。

      有关的几个重要参数：

public static final String SHUFFLE_INPUT_BUFFER_PERCENT = “mapreduce.reduce.shuffle.input.buffer.percent”;     默认0.7

public static final String SHUFFLE_MEMORY_LIMIT_PERCENT = “mapreduce.reduce.shuffle.memory.limit.percent”;     默认0.25

public static final String SHUFFLE_MERGE_PERCENT = “mapreduce.reduce.shuffle.merge.percent”;     默认0.66

      这个问题是在Fetcher过程中爆出的。首先解释一下参数，第一个参数SHUFFLE_INPUT_BUFFER_PERCENT是指在总的HeapSize中shuffle占得内存百分比我们总的HeapSize是1.5G，那大概Fetcher就是1.0G。 SHUFFLE_MEMORY_LIMIT_PERCENT是指的map copy过来的数据是放内存中还是直接写磁盘。 超过1.5G*0.7*0.25=250M的都放在磁盘中，其它开辟内存空间，放在内存中。 SHUFFLE_MERGE_PERCENT是指merge的百分比，超过这个百分比后停止fetcher，进行merge，merge到磁盘中。   

      跑出OOM后，调了下jvm参数，获取heapdump数据，根据MAT获取以下数据。数据如下：

      首先发现整体的内存并没有到1.5G。其次，看了下内存对象分布，byte数组占了很大比例，这也很正常，所有内存中的buffer都是以byte数组形式出现的。在对比一下byte数组大小，大于900M，这就有一个问题了，首先整体HeapSize是1.5G，old区大概是1个G，这时候如果byte数组是900M来一个100M+的拷贝，由于是大内存开辟，不会进入Young区，直接开辟内存空间到Old区，而Old区即使fullgc也没有那么多连续空间，所以分配失败，报OOM错误。这时，只是一个假设，调整Xmn参数，减小Young区内存大小，增大Old区进行测试，成功，印证了想法。

      但是对于我们跑任务调整jvm参数毕竟不现实，那么我们根据经验调整SHUFFLE_INPUT_BUFFER_PERCENT参数就可以了，调整为0.6即可解决问题。