Hive碎碎念（9）：HIVE前缀

--1、配置MR任务结束后进行文件合并（合并小文件）

set hive.merge.mapfiles = true;
--在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true;
--在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.tas = 512000000;
----合并文件的大小
set hive.merge.smallfiles.avgsize = 512000000;
--当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
set hive.default.fileformat = Orc;
--ORC数据压缩参数
set mapred.max.split.size=512000000;
--#每个Map最大输入大小(目前集市层限制可能无效)
set mapred.min.split.size.per.node=512000000;
--#一个节点上split的至少的大小
set mapred.min.split.size.per.rack=512000000;
--#执行Map前进行小文件合并
set hive.hadoop.supports.splittable.combineinputformat = true;
--是否支持可切分的CombieInputFormat ，true是支持
set mapreduce.input.fileinputformat.split.maxsize = 512000000;
--maxsize（切片最大值）：参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。
set mapreduce.input.fileinputformat.split.minsize.per =512000000;
--minsize （切片最小值）：参数调的比blockSize大，则可以让切片变得比blocksize还大。
set hive.exec.dynamic.partition = true;
---启用动态分区
set hive.exec.dynamic.partition.mode = nostrict;
---动态分区类型
set hive.exec.max.dynamic.partitions.pernode = 1000;
--默认值：100--;在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错
set hive.exec.parallel = true;
--参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.
set hive.exec.parallel.thread.number = 16;
--就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大可以同时运行8个job.这里开启16个
set hive.new.job.grouping.set.cardinality = 5000;
--这条设置的意义在于告知解释器，group by之前，每条数据复制量在5000份以内。

常用的set头如下：

SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.exec.max.dynamic.partitions.pernode = 1000;
SET hive.exec.max.dynamic.partitions = 1000;
SET hive.exec.compress.output = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.exec.dynamic.partition = true;
SET hive.merge.mapfiles = true;
SET hive.merge.mapredfiles = true;
SET mapred.max.split.size=536870912;
SET mapred.min.split.size.per.node=536870912;
SET mapred.min.split.size.per.rack=536870912;
SET hive.input.format=[org.apache.hadoop.hive.ql.io](http://org.apache.hadoop.hive.ql.io/).CombineHiveInputFormat;
SET mapreduce.input.fileinputformat.split.minsize=536870912;
SET hive.map.aggr = true;
SET hive.groupby.mapaggr.checkinterval = 100000;
SET hive.auto.convert.join = true;
SET hive.default.fileformat = Orc;
SET hive.exec.parallel = true;
SET hive.exec.parallel.thread.number = 16;