Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space

Hive 执行group by 出现错误

FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space

参考 数据倾斜以及本地模式的介绍

解决方法:改为本地模式

1、开启本地mr

set hive.exec.mode.local.auto=true;

2、设置local mr的最大输入数据量,当输入数据量小于这个值时采用local mr的方式,默认为134217728,即128M

set hive.exec.mode.local.auto.inputbytes.max= 50000000;

3、设置local mr的最大输入文件个数,当输入文件个数小于这个值时采用local mr的方式,默认为4

set hive.exec.mode.local.auto.input.files.max=10;

4、完整代码

set hive.exec.mode.local.auto=true;
set hive.exec.mode.local.auto.inputbytes.max= 50000000;
set hive.exec.mode.local.auto.input.files.max=10;
select uname,umonth,sum(ucount) from t_access t group by t.uname,t.umonth;

你可能感兴趣的:(Java)