Hive SQL,在Reduce任务Shuffle阶段出现OOM

问题:Reduce任务Shuffle阶段报如下错误:

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher

Hive SQL,在Reduce任务Shuffle阶段出现OOM_第1张图片
异常截图

解决方案:

调低mapreduce.reduce.shuffle.input.buffer.percent,默认为0.7,可以从0.2开始向上调。当只有20%的heap size分配给shuffle buffer的时候不容易出现OOM。

单独针对这个任务调这个参数,调低会牺牲一些效率,但是能保证跑过

你可能感兴趣的:(Hive SQL,在Reduce任务Shuffle阶段出现OOM)