1. SerDes and I/O
- hive.input.format
默认 org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
默认的input format。如果 CombineHiveInputFormat 有问题，则使用 HiveInputFormat - hive.default.fileformat
默认值 TextFile
可选项：TextFile，SequenceFile，RCfile，ORC，Parquet
Parquet是在2.3.0之后才有的，其他都在1.0之前就有了 - hive.query.result.fileformat
默认值 TextFile(Hive2.0及以前)，SequenceFile(Hive2.1及以上版本)
查询中间结果的文件格式
2. index相关参数
2.1 常调整参数(需熟悉并且自己试验一下, OK)
- hive.optimize.index.filter
默认值： false
是否自动使用索引 - hive.optimize.index.groupby
默认值：false
是否使用聚集索引优化group-by查询 - hive.index.compact.binary.search
默认值：true
在索引表中是否开启二分搜索进行索引项查询，默认是true - hive.exec.concatenate.check.index
默认值： true
这个参数设置为true, 当使用 alter table ... concatenate on... 的时候,如果表有索引hive会报错。可以帮助用户避免index的删除和重建 - hive.optimize.index.autoupdate
默认值：false
是否在索引过期时启用自动重建。 注意：重新构建索引可能是一项耗时且计算昂贵的操作；在许多情况下，最好是手动重新构建索引。
2.2 了解即可
- hive.index.compact.file.ignore.hdfs
默认值： false
这个参数设置为 true 的时候任务运行时索引中存储的HDFS地址将被忽略，如果数据被删除或者名字变化，索引依然还可以用 - hive.optimize.index.filter.compact.minsize
默认值：5368709120 (5g)
压缩索引自动应用的最小输入大小 - hive.optimize.index.filter.compact.maxsize
默认值：-1
压缩索引自动应用的最大输入大小，负值代表无穷大 - hive.index.compact.query.max.size
默认值：10737418240 (10G)
一个使用压缩索引的查询可以读入的最大数据量，负值代表无穷大 - hive.index.compact.query.max.entries
默认值：10000000
使用压缩索引查询时能读到的最大索引项数，默认是10000000；负值代表无穷大；
3. orc文件格式相关参数
3.1 常调整参数(需熟悉并且自己试验一下，OK)
- hive.orc.splits.include.file.footer
默认值 false
这个值如果打开，ORC文件中将包含stripes的元数据，这个数据远程读取(从客户端或者HiveServer2机器上)并且发送到所有的task - hive.orc.cache.stripe.details.size
默认值 10000
ORC文件的元数据信息在客户端缓存时可缓存的大小 - hive.orc.compute.splits.num.threads
默认值 10
ORC并行创建 splits 时的最大线程 - hive.exec.orc.split.strategy
默认HYBRID，可选: HYBRID, BI, ETL，从 HIVE 1.2.0 版本开始出现。(环境为hive1.1.0, 试验不了)不是用户级配置
(1) HYBRID: 当文件的平均大小大于orc最大split值（默认256M）时使用ETL策略，否则使用BI策略。
(2) BI: 这种策略不会花费太多时间进行切分orc文件，不会去读orc的footer元数据，以文件为单位进行切片
(3) ETL: 这种策略会将文件进行切分，多个stripe组成一个split - hive.exec.orc.zerocopy
默认值为 false
使用零拷贝读取ORC。(这需要Hadoop 2.3或更高版本。公司环境hadoop是2.6的) - hive.merge.orcfile.stripe.level
默认值: true
当参数 hive.merge.mapfiles，hive.merge.mapredfiles 或者 hive.merge.tezfiles打开时，这个参数设置为 true的时候会从 stripe 层对 ORC文件进行快速合并。
3.2 不常调整参数
需知道
- hive.exec.orc.default.stripe.size
默认值: HIVE0.14之后改成了64*1024*1024
默认的ORC stripe大小 - hive.exec.orc.default.block.size
默认值: 256*1024*1024
orc文件的默认block大小 - hive.exec.orc.default.row.index.stride
默认值 10000
orc文件中行组的行数 - hive.exec.orc.default.block.padding
默认值 true
默认块填充。(orc文件的stripe和HDFS的文件块边界应该有填充) - hive.exec.orc.block.padding.tolerance
默认值：0.05
填充的时候能填充空间占orc stripe大小的最大比例，例如stripe默认64M，则填充空间最大达到3.2M，如果超过这个数会用一个新的较小的stripe填进去。 - hive.exec.orc.default.compress
默认值 ZLIB
orc文件默认压缩格式 - hive.exec.orc.encoding.strategy
默认值 SPEED
可选项为 SPEED 和 COMPRESSION，只会影响整数的轻量级压缩，不会影响二级压缩如ZLIB - hive.exec.orc.compression.strategy
默认值 SPEED
可选项为 SPEED 和 COMPRESSION，影响二级压缩如ZLIB - hive.orc.row.index.stride.dictionary.check
默认值: true
这个参数设置为true的时候会进行行组级别的check,否则会进行stripe级别的check
了解即可
- hive.exec.orc.memory.pool
默认值 0.5
ORC文件写入时可以使用的堆内存的占比 - hive.exec.orc.base.delta.ratio
默认值 8
根据 STRIPE_SIZE 和 BUFFER_SIZE 定义的基本写入器和增量写入器的比例。 - hive.exec.orc.default.buffer.size
默认值：256*1024
默认ORC缓冲大小 - hive.exec.orc.dictionary.key.size.threshold
默认值 0.8 - hive.orc.cache.use.soft.references
默认值 false
缓存orc文件的footer所用的对象是hard refernce(强引用，不会被垃圾回收器回收)。将这个参数设置为true可以防止内存资源紧缺时候发生内存溢出，代价是可能会隐性查询性能。 - hive.exec.orc.skip.corrupt.data
默认值：false
设置为false的时候碰到损坏的数据将抛出异常
4. Reducer相关参数
4.1 常调整参数(需熟悉并且自己试验一下，OK)
- mapred.reduce.tasks
默认值 -1。
每一个 job 默认的 reduce task 的数量，通常设置为接近可用主机数量的素数，当把参数 mapred.job.tracker 设置为 local 的时候这个参数被忽略。Hadoop中这个参数默认为1，但是hive通过将这个值默认为 -1，自动计算出 reduce task 的数量。 ---自动计算的依据？ - hive.exec.reducers.bytes.per.reducer
Hive 0.14.0 之后默认值为 256M，指的是每一个reducer的数据输入量。 - hive.exec.reducers.max
Hive 0.14.0 之后默认值为 1009，指的是reducer数量的上限。
计算reducer的方式 N=min(hive.exec.reducers.max，总输入数据量/hive.exec.reducers.bytes.per.reducer)
5. Mapper相关参数
5.1 常调整参数(需熟悉并且自己试验一下, OK)
在 hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat下，切片大小由下面这些参数决定
计算公式 splitSize = Math.max(minSize, Math.min(maxSize, blockSize))
- set dfs.block.size
默认值134217728;
非用户参数，默认 128M，HDFS文件块的大小 - set mapred.min.split.size
默认值 1;
切片最小size - set mapred.max.split.size
默认值 134217728;
切片最大size - hive.hadoop.supports.splittable.combineinputformat
默认值 false;
输入的小文件是否合并为一个Mapper，这样能少起一些Mapper
在 hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat下，切片大小由下面这些参数决定
一般来说这四个参数的配置结果大小要满足如下关系: max.split.size >= min.split.size >= min.size.per.node >= min.size.per.rack
- set mapred.max.split.size=256000000; --- 调大的时候会减少Mapper数
- set mapred.min.split.size=10000000; --- 感觉没啥效果
- set mapred.min.split.size.per.node=256000000; --每个节点处理的最小split。不能比 mapred.max.split.size，会报错
- set mapred.min.split.size.per.rack=256000000; --每个机架处理的最小slit。不能比 mapred.max.split.size，会报错
试验效果：per.node 和 per.rack 进行设置后，Mapper 数减少，运行速度变快
6. 合并小文件
6.1 常调整参数(需熟悉并且自己试验一下, OK)
- hive.hadoop.supports.splittable.combineinputformat
默认值 false，Hive2.0.0 之后去除
是否合并小文件 - hive.merge.mapfiles
默认值：true
在只有map的作业结束时合并小文件 - hive.merge.mapredfiles
默认值：false
在一个map/reduce作业结束后合并小文件 - hive.merge.size.per.task
默认值：256000000
作业结束时合并文件的大小 - hive.merge.smallfiles.avgsize
默认值：16000000
在作业输出文件小于该值时，起一个额外的map/reduce作业将小文件合并为大文件，小文件的基本阈值，设置大点可以减少小文件个数，需要mapfiles和mapredfiles为true
7. 聚合相关参数
7.1 常调整参数(需熟悉并且自己试验一下，OK)
- hive.map.aggr
Hive 0.2 起默认值 false
在 group by 查询中是否进行 map端的预聚合 - hive.groupby.mapaggr.checkinterval
默认值：100000
聚合操作时，聚合条数超过这个值的时候会分拆。 - hive.map.aggr.hash.min.reduction
默认值：0.5
如果hash table的大小和输入行数的比例大于这个值，则hash聚合会被关掉 - hive.groupby.skewindata
默认值false
数据是否有倾斜，优化 group by 查询 - hive.optimize.groupby
默认值：true
对分桶表(分区)是否启用桶group by
7.2 了解即可
- hive.multigroupby.singlereducer
默认值：true
多重插入时如果group by 的字段相同，只产生一个 MR job - hive.map.aggr.hash.force.flush.memory.threshold
默认值：0.9
map端聚合hash表所用的最大内存，当内存使用高于这个数的时候强制刷数据。 - hive.map.aggr.hash.percentmemory
默认值：0.5
map端聚合操作的hash table占总内存的比
8. join相关参数
8.1 常调整参数(需熟悉并且自己试验一下,OK)
- hive.smalltable.filesize / hive.mapjoin.smalltable.filesize
默认值：25000000
输入表文件的mapjoin阈值，如果输入文件的大小小于该值，则试图将普通join转化为mapjoin - hive.auto.convert.join
默认值：hive 0.11.0以上版本为 true
根据输入文件的大小决定是否将普通join转换为mapjoin的一种优化 - hive.auto.convert.join.noconditionaltask
默认值：true
是否启用基于输入文件的大小，将普通连接转化为Map连接的优化机制。假设参与连接的表(或分区)有N个，如果打开这个 参数，并且有N-1个表(或分区)的大小总和小于hive.auto.convert.join.noconditionaltask.size参数指定的值，那么会直接将连接转为Map join。 - hive.auto.convert.join.noconditionaltask.size
默认值：10000000
如果hive.auto.convert.join.noconditionaltask是关闭的，则本参数不起作用。否则，如果参与连接的N个表(或分区)中的N-1个 的总大小小于这个参数的值，则直接将连接转为Map join。默认值为10MB。 - hive.optimize.skewjoin
默认值：false
是否开启数据倾斜的join优化 - hive.skewjoin.key
默认值：100000
判断数据倾斜的阈值，如果在join中发现同样的key超过该值则认为是该key是倾斜的join key - hive.skewjoin.mapjoin.map.tasks
默认值：10000
在数据倾斜join时map join的map数控制 - hive.skewjoin.mapjoin.min.split
默认值：33554432
数据倾斜join时map join的map任务的最小split大小，默认是33554432，该参数要结合上面的参数共同使用来进行细粒度的控制；
8.2 了解
- hive.ppd.recognizetransivity
默认值：true
等值join条件下是否传递重复的谓词过滤器 - hive.join.emit.interval
默认值：1000
在发出join结果之前对join最右操作缓存多少行 - hive.join.cache.size
默认值：25000
在做表join时缓存在内存中的行数 - hive.mapjoin.bucket.cache.size
默认值：100
mapjoin时内存cache的每个key要存储多少个value - hive.mapjoin.followby.map.aggr.hash.percentmemory
默认值：0.3
map端聚合时hash表的内存占比，该设置约束group by在map join后进行，否则使用hive.map.aggr.hash.percentmemory来确认内存占比 - hive.mapjoin.localtask.max.memory.usage
默认值：0.90
mapjoin本地任务执行时hash表容纳key/value的最大量，超过这个值的话本地任务会自动退出 - hive.mapjoin.followby.gby.localtask.max.memory.usage
默认值：0.55
类似上面，只不过是如果mapjoin后有一个group by的话，该配置控制类似这样的query的本地内存容量上限 - hive.mapjoin.check.memory.rows
默认值：100000
在运算了多少行后执行内存使用量检查 - hive.ignore.mapjoin.hint
默认值：true
是否忽略mapjoin标记 - hive.smbjoin.cache.rows
默认值: 10000
每个sort-merge-bucket join表应该在内存中缓存多少个具有相同键值的行。 - hive.mapjoin.optimized.hashtable
默认值: true
在 MapJoin的时候是否使用内存优化的hash table。只有在 tez 和 spark 引擎下起作用。因为内存优化的hash table不能被序列化 - hive.mapjoin.optimized.hashtable.wbsize
默认值: 10485760 (10 * 1024 * 1024)
优化后的hashtable使用一连串缓存来存储数据，这是一个缓存的大小。 - hive.hashtable.initialCapacity
默认值: 100000
如果没有统计数据，mapjoin hashtable的初始容量 - hive.hashtable.loadfactor
默认值: 0.75
mapjoin过程中，使用hashtable保存key/value。这个参数是内存中 hashtable 的 load factor。
9. 压缩相关参数
9.1 须知道 (测试，OK)
- hive.exec.compress.output
默认值：false
控制hive的查询结果输出是否进行压缩，压缩方式在hadoop的mapred.output.compress中配置 - hive.exec.compress.intermediate
默认值：false
控制hive的查询中间结果是否进行压缩，默认不压缩false - io.compression.codecs
设置了哪些压缩算法
org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec,com.hadoop.compression.lzo.LzopCodec - mapreduce.output.fileoutputformat.compress
默认值：false
mapreduce最终输出数据是否压缩 - mapreduce.output.fileoutputformat.compress.codec
默认值：org.apache.hadoop.io.compress.DefaultCodec
mapreduce最终输出数据使用的压缩算法 - mapreduce.output.fileoutputformat.compress.type
默认值：RECORD
mapreduce最终数据输出压缩方式。可选项 RECORD(对每一条数据进行压缩)，BLOCK(对一组数据进行压缩)，NONE - mapreduce.map.output.compress
默认值：true
map输出是否压缩 - mapreduce.map.output.compress.codec
默认值：org.apache.hadoop.io.compress.SnappyCodec
Map输出阶段压缩算法
10. 其他参数
10.1 动态分区相关（OK）
- hive.exec.dynamic.partition
默认值：false
是否允许动态分区 - hive.exec.dynamic.partition.mode
默认值：strict
在strict模式下，动态分区的使用必须在一个静态分区确认的情况下，其他分区可以是动态。nonstrict模式下所有分区都可以是动态的 - hive.exec.max.dynamic.partitions
默认值：1000
动态分区的上限 - hive.exec.max.dynamic.partitions.pernode
默认值：100
每个mapper/reducer节点可以创建的最大动态分区数 - hive.exec.max.created.files
默认值：100000
一个mapreduce作业能创建的HDFS文件最大数
10.1 须知道
- hive.enforce.sorting
默认值：hive2.x之前全为false,hive2.x移除这个参数，强制为true
开启强制排序时，插数据到表中会进行强制排序 - hive.enforce.bucketing
默认值：hive2.x之前全为false,hive2.x移除这个参数，强制为true
数据分桶是否被强制执行，默认false，如果开启，则写入table数据时会启动分桶 - hive.exec.parallel
默认值：false
hive的执行job是否并行执行 - hive.exec.parallel.thread.number
默认值：8
最多有多少个作业可以并行执行。 - hive.mapred.mode
默认值：hive 2.0 之前是 nonstrict，2.0之后为strict
如果是strict模式，很多有风险的查询会被禁止运行，比如全表扫描、笛卡尔积等等 - hive.debug.localtask
默认值：false
是否调试本地任务 - hive.optimize.ppd
默认值：true
是否启用谓词下推 - hive.optimize.ppd.storage
默认值：true
是否将为此下推推送到存储处理中。如果hive.optimize.ppd置为false，这个参数忽略 - hive.execution.engine
默认 mr，可选项 mr、tez、spark。
设置为 mr 的时候，每执行一个sql都会单独开一个application，执行完就释放资源。
设置为 spark 的时候，从开始第一个sql开始，只要没有退出hive客户端就不会另外开启一个 application，所有任务都只用一个application，申请资源后重复利用。 - hive.mapred.reduce.tasks.speculative.execution
默认值：true
reduce任务推测执行是否开启 - hive.limit.row.max.size
默认值：100000
在使用limit做数据的子集查询时保证的最小行数据量 - hive.limit.optimize.limit.file
默认值：10
使用简单limit查询数据子集时，可抽样的最大文件数 - hive.limit.optimize.enable
默认值：false
使用简单limit抽样数据时是否开启优化选项 - hive.limit.optimize.fetch.max
默认值：50000
使用简单limit抽样数据允许的最大行数 - hive.exec.mode.local.auto
默认值：false
是否由hive决定自动在local模式下运行 - hive.exec.mode.local.auto.inputbytes.max
默认值：134217728
如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行 - hive.exec.mode.local.auto.input.files.max
默认值：4
map 任务数不超过这个数才能启动本地模式 - hive.optimize.bucketingsorting
默认值：true - hive.optimize.reducededuplication.min.reducer
默认值: 4 - hive.optimize.correlation
默认值：false - hive.optimize.sort.dynamic.partition
默认值：Hive 0.14.0 之后都置为false - hive.cbo.enable
默认值：Hive 1.1.0 之后都置为true - hive.cbo.returnpath.hiveop
默认值：false - hive.optimize.null.scan
默认值：true
10.2 了解
- hive.exec.scratchdir
Hive 0.14.0 之后默认值为 /tmp/hive。
这个目录用来存储不同 map/reduce 阶段的plans 和这些阶段的中间输出。 - hive.scratch.dir.permission
默认值：700
在scratch根目录下开辟的特定用户目录的权限。 - hive.ppd.remove.duplicatefilters
默认值：true
查询优化时，filters会被往下推。如果这个参数置为true，则下推的filters会被保留在operator tree中，原始filter被删除。如果false，则原始filter会被保留在operator tree的原始位置 - hive.sample.seednumber
默认值：0
用来区分抽样的数字 - hive.autogen.columnalias.prefix.label
默认值：_c
当在执行中自动产生列别名的前缀，当类似count这样的聚合函数起作用时，如果不明确指出count(a) as xxx的话，那么默认会从列的位置的数字开始算起添加，比如第一个count的结果会冠以列名_c0，接下来依次类推 - hive.autogen.columnalias.prefix.includefuncname
默认值：false
在自动生成列别名时是否带函数的名字 - hive.start.cleanup.scratchdir
默认值：false
当启动hive服务时是否清空hive的scratch目录 - hive.output.file.extension
默认值：(empty)
输出文件扩展名 - hive.insert.into.multilevel.dirs
默认值：false
是否插入到多级目录 - hive.exec.script.maxerrsize
默认值：100000
一个map/reduce任务允许打印到标准错误里的最大字节数，为了防止脚本把分区日志填满 - hive.exec.rowoffset
默认值：false
是否提供 row offset 虚拟列 - hive.exec.pre.hooks
默认值：空
执行前置条件，一个用逗号分隔开的实现了org.apache.hadoop.hive.ql.hooks.ExecuteWithHookContext接口的java class列表，配置了该配置后，每个hive任务执行前都要执行这个执行前钩子 - hive.exec.post.hooks
默认值：空
同上，执行后钩子 - hive.exec.failure.hooks
默认值：空
同上，异常时钩子，在程序发生异常时执行 - hive.heartbeat.interval
默认值：1000
发送心跳的时间间隔，在mapjoin和filter操作中使用 - hive.udtf.auto.progress
默认值: false
UDTF执行时hive是否发送进度信息到TaskTracker - hive.exec.counters.pull.interval
默认值：1000
运行中job轮询JobTracker的时间间隔，设置小会影响JobTracker的load，设置大可能看不出运行任务的信息，要去平衡 - hive.exec.drop.ignorenonexistent
默认值：true
这个参数设置为true的情况下，如果表xxx不存在，drop table xxx会报错 - hive.exec.show.job.failure.debug.info
默认值：true
在作业失败时是否提供一个任务debug信息 - hive.auto.progress.timeout
默认值：0
运行自动progressor的时间间隔，设置为0等同于forever - hive.table.parameters.default
默认值：empty
新建表的属性字段默认值 - hive.variable.substitute
默认值：true
是否支持变量替换，如果开启的话，支持语法如{system:var}和${env.var} - hive.error.on.empty.partition
默认值：false
在遇到结果为空的动态分区时是否报错 - hive.exec.default.partition.name
默认值：HIVE_DEFAULT_PARTITION
当动态分区启用时，如果数据列里包含null或者空字符串的话，数据会被插入到这个分区 - hive.fetch.output.serde
默认值：org.apache.hadoop.hive.serde2.DelimitedJSONSerDe
FetchTask序列化fetch输出时需要的SerDe - hive.optimize.reducededuplication
默认值：true
如果数据已经根据相同的key做好聚合，那么去除掉多余的map/reduce作业 - hive.new.job.grouping.set.cardinality
默认值 30，多维统计的时候所用到的参数 --- 了解一下 - hive.optimize.skewjoin.compiletime
默认值: false - hive.optimize.union.remove
默认值: false - hive.mapred.supports.subdirectories
默认值: false - hive.auto.convert.join.use.nonstaged
默认值: false - hive.rework.mapredwork
默认值：false - hive.scratchdir.lock
默认值：false - hive.conf.validation
默认值：true - hive.fetch.task.conversion
默认值：Hive 0.14.0之后置为 more - hive.map.groupby.sorted
默认值：hive2.0 之前false，hive2.0开始true - hive.fetch.task.aggr
默认值：false - hive.execution.mode
默认 container，可选项 container，llap。
hive 2.0 以上版本出现 - hive.mapred.local.mem
默认值 0，Hive 2.0 版本开始出现
local模式下，mapper和reducer的内存 - hive.optimize.countdistinct
默认值：true，Hive 3.0 版本出现
是否将count distinct 分为2个阶段执行，第一阶段根据distinct key使用多个reducer，第二阶段使用一个reducer - hive.optimize.remove.sq_count_check
默认值：false，Hive 3.0 版本出现 - hive.merge.nway.joins
默认值: true，hive2.2.0版本出现
多join并且join条件相同，把join合并为一个join operator - hive.optimize.limittranspose
默认值：false，hive2.0.0版本出现 - hive.optimize.limittranspose.reductionpercentage
默认值：1.0，hive2.0.0版本出现 - hive.optimize.limittranspose.reductiontuples
默认值：0，hive2.0.0版本出现 - hive.optimize.filter.stats.reduction
默认值：false，hive2.1.0版本出现 - hive.cbo.cnf.maxnodes
默认值：-1, hive2.1.1之后出现 - hive.groupby.position.alias
默认值：false, hive2.2.0之后出现 - hive.orderby.position.alias
默认值：true, hive2.2.0之后出现 - hive.io.sarg.cache.max.weight.mb
默认值：10, Hive 2.2.1 出现