hive Error: Java heap space

数据由sdf层到dwb层

sdf数据只有259.9M，结果跑了N次都是 

FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

到YARN查询节点日志

FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

第一意识map内存不足

解决办法：在执行申请了前加上 set mapreduce.map.memory.mb=2048

问题解决

同时回顾下

set mapred.max.split.size 设置分割大小 可增大map个数

set mapreduce.reduce.memory.mb 设置reduce内存大小

 

tblproperties("skip.header.line.count"="1") 导入csv文件时 指定跳过第一行