Hive优化--关键参数配置指导
1. 关键参数配置指导
1.1. Container内存相关
1.1.1. map的内存大小
【参数值】
mapreduce.map.memory.mb
【参数解析】
map任务的内存限制。
【如何调优】
默认：4096MB
mapreduce.map.memory.mb控制每个map任务的内存大小，默认值为4G，对于当前任务是内存密集型任务（如ORC文件读取/写入、全局排序）的场景，建议增大内存值，但不能超过yarn.scheduler.maximum-allocation-mb的值。
1.1.2. reduce的内存大小
【参数值】
mapreduce.reduce.memory.mb
【参数解析】
reduce任务的内存限制。
【如何调优】
默认：4096MB
mapreduce.reduce.memory.mb控制每个reduce任务的内存大小，默认值为4G，对于当前任务是内存密集型任务（如ORC文件读取/写入、全局排序）的场景，建议增大内存值，但不能超过yarn.scheduler.maximum-allocation-mb的值。
1.1.3. Container的内存大小
【参数值】
yarn.scheduler.maximum-allocation-mb
【参数解析】
ResourceManager中每个container请求分配的最大内存。
【如何调优】
默认：6144MB
yarn.scheduler.maximum-allocation-mb表示ResourceManager给每个container请求分配的最大内存，默认值为6G，该值属于YARN参数，需要在YARN参数配置界面进行配置。
1.2. Container CPU相关
1.2.1. map的虚拟核数
【参数值】
mapreduce.map.cpu.vcores
【参数解析】
每个map任务需要的CPU虚拟核数。
【如何调优】
默认：1
mapreduce.map.cpu.vcores控制每个map任务需要的CPU核数，默认值为1，对于当前任务是CPU密集型任务（如复杂数学计算）的场景，建议增大该值，但不能超过yarn.scheduler.maximum-allocation-vcores的值。
1.2.2. reduce的虚拟核数
【参数值】
mapreduce.reduce.cpu.vcores
【参数解析】
每个reduce任务需要的CPU虚拟核数。
【如何调优】
默认：1
mapreduce.reduce.cpu.vcores控制每个reduce任务需要的CPU核数，默认值为1，对于当前任务是CPU密集型任务（如复杂数学计算）的场景，建议增大该值，但不能超过yarn.scheduler.maximum-allocation-vcores的值。
1.2.3. Container的虚拟核数
【参数值】
yarn.scheduler.maximum-allocation-vcores
【参数解析】
ResourceManager为每个container请求的最大虚拟CPU核数。
【如何调优】
默认：32
yarn.scheduler.maximum-allocation-vcores表示ResourceManager中每个container请求的最大虚拟CPU核数，默认值是32，该值属于YARN参数，需要在YARN参数配置界面进行配置。
1.3. Map数量相关
1.3.1. Map处理的最大数据量
【参数值】
mapreduce.input.fileinputformat.split.maxsize
【参数解析】
map输入信息应被拆分成的数据块的最大大小。
【如何调优】
默认：256000000字节
对于扫描、过滤数据的逻辑比较复杂、输入数据量较大条数较多的场景，建议按照实际情况适当调小该参数的值，如128000000或是64000000，这样由于每个map处理的数据变少，map数增加了，提高了并行计算的力度，整体效率会提升。
1.3.2. 每个节点Map分片最小值
【参数值】
mapred.min.split.size.per.node
【参数解析】
每个节点的map分片的最小值。
【如何调优】
默认：1字节
对于输入数据文件存在大量小文件的场景，建议分别设置该参数的值为128000000，使map启动前对大量小文件进行合并。
1.3.3. 每个机架Map分片最小值
【参数值】
mapred.min.split.size.per.rack
【参数解析】
每个机架的map分片的最小值。
【如何调优】
默认：1字节
对于输入数据文件存在大量小文件的场景，建议分别设置该参数的值为128000000，使map启动前对大量小文件进行合并。
1.4. Reduce数量相关
1.4.1. 每个reduce任务处理的数据量
【参数值】
hive.exec.reducers.bytes.per.reducer
【参数解析】
每个reduce任务处理的数据量。
【如何调优】
默认：256000000字节
对于关联、聚合、排序时reduce端待处理数据量较大的场景，当发现reduce处理速度很慢时，建议按照实际情况适当调小该参数的值，这样由于每个reduce处理的数据变少，reduce数增加了，提高了并行计算的力度，整体效率会提升。
1.4.2. 最大reduce数
【参数值】
hive.exec.reducers.max
【参数解析】
每个MapReduce任务能启动的最大的reduce数。
【如何调优】
默认：999
建议根据集群总体资源情况，以及分配给当前租户的资源情况，设置该参数值为当前租户所能启动的最大的container数。
1.4.3. reduce任务数量
【参数值】
mapred.reduce.tasks
【参数解析】
MapReduce任务启动的reduce数。
【如何调优】
默认：-1
mapred.reduce.tasks表示reduce任务数量，默认值为-1，表示由Hive根据输入数据量除以hive.exec.reducers.bytes.per.reducer参数的值自动计算reduce的任务数量。
该值的优先级高于根据hive.exec.reducers.bytes.per.reducer参数的自动计算。
对于关联、聚合、排序时reduce端待处理数据量较大的场景，当发现reduce处理速度很慢时，建议按照实际情况调高该参数的值，但不能超过hive.exec.reducers.max的值。
1.5. Hive优化器相关
1.5.1. 相关性优化开关
【参数值】
hive.optimize.correlation
【参数解析】
是否开启相关性优化。
【如何调优】
默认：false
相关性优化，旨在利用下面两种查询的相关性：
（a）输入相关性：在原始operator树中，同一个输入表被多个MapReduce任务同时使用的场景；
（b）作业流程的相关性：两个有依赖关系的MapReduce的任务的shuffle方式相同。
相关性优化特性可以减少MR任务个数，从而提升整体效率，建议设置为true。