Hive--参数优化

一、Map阶段的优化（Mapphase）

1. Map数的计算公式为：
num_Map_tasks=max[${Mapred.min.spilt.size},min(${dfs.block.size},${Mapred.max.split.size})]

Mapred.min.spilt.size指的是数据的最小分割单元大小（默认为1B）

Mapred.max.split.size指的是数据的最大分割单元大小（默认为256MB）

dfs.block.size指的是HDFS设置的数据块大小（这个值是在配置文件中定好的，而且Hive是获取不到的）

所以Map的数量是由Mapred.min.spilt.size、Mapred.max.split.size这两个参数的最大值决定的。如果不做修改的话一个Map Task处理256MB的数据，增大Mapred.max.split.size的值可以减少Map的数量，减少Mapred.max.split.size的值可以增大Map的数量。但是直接修改Mapred.Map.tasks是没有效果的。如果运行速度较慢，可以考虑增加Map的数量，增加并行度，如果运行速度较快，增加Map数量不太可能加快速度，反而有可能因为初始化Map使速度变慢，此时可以考虑减少Map，这样可以节省更多资源给其他Job

二、Reduce阶段的优化（Reudcephase）

1. reduce数的计算公式为：
num_Reduce_tasks=min[${Hive.exec.Reduces.max},(${input.size}/ ${Hive.exec.Reducers.bytes.per.Reducer})]

Hive.exec.Reducers.bytes.per.Reducer（默认值为1G）

所以Reduce的数量是由输入的数据量大小决定的，但是Reduce的数量不能超过999，可以通过设置Hive.exec.Reducers.bytes.per.Reducer来设置Reduce的个数，也可以通过设置Mapred.Reduce.tasks来设置Reduce的数量。

三、Map与Reduce之间的优化（Spill、Copy、Sort phase）

1.  在Spill阶段，由于内存不够，数据需要溢写到磁盘再排序，然后对所有的文件进行Merge。可以通过设置io.Sort.mb来增大环形缓冲区的大小，避免Spill

2.  在Copy阶段是把文件从map端Copy到Reduce端。默认情况下是5%的Map完成时Reduce就开始启动Copy，这个时候是很浪费资源的，因为Reduce一旦启动就被占用，直到所有的Map完成，Reduce才可以进行接下来的动作。这个比例可以通过Mapred.Reduce.slowstart.completed.Maps这个参数来设置。如果觉得这么做会导致Reduce端Copy的速度减慢，可以通过tasktracker.http.threads决定作为Server端的Map用于提供数据传输服务的线程数量。Mapred.Reduce.parallel.copies可以决定作为client端的Reduce同时从Map端拉取数据的并行度（一次同时从多少个Map中拉取数据），注意参数协调一致。