HIVE参数调优（汇总）

//设置自动mapjoin 为false
set hive.auto.convert.join=false;
set hive.ignore.mapjoin.hint=false

//关闭严格模式
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.mapred.mode=nonstrict;

//设置压缩格式-gzip
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;

//设置压缩格式-lzo
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;
set io.compression.codecs=com.hadoop.compression.lzo.LzoCodec;

//数据倾斜
set hive.map.aggr=true; // map端聚合
set hive.optimize.skewjoin=true;
set hive.groupby.skewindata=true;

//排序内存溢出问题
set mapreduce.task.io.sort.mb=10;

 set hive.groupby.mapaggr.checkinterval=100000;

// join 内存溢出时设置
set mapred.child.java.opts=-Xmx512m;

//设置任务数
set mapred.reduce.tasks=10;

//元数据：嵌套SQL并行执行优化:

set hive.exec.parallel=true;

set hive.exec.parallel.thread.number=16;

mapreduce.reduce.shuffle.memory.limit.percent：

默认值： 0.25
说明：一个单一的shuffle的最大内存使用限制(可调整为0.1)。

set mapred.max.split.size=1000000;

参考

• 那些年使用Hive踩过的坑
• Hive性能优化
• hive参数调优汇总
• 数据分析利器之hive优化十大原则