基于MapReduce对hadoop进行调优

一、Map阶段

1. mapreduce.task.io.sort.mb增大环形缓冲区的大小。由100m扩大到200m.
2. mapreduce.map.sort.spill.percent环形缓冲区的溢写阈值，默认80%，可以提高到90%。
3. 增加每次Merge合并次数，以减少总的merge次数
4. 不影响实际业务的前提下，采用Combiner提前合并，减少I/O。
5. 可以采用Snappy或者LZO压缩，减少磁盘IO。
6. mapreduce.map.memory.mb默认MapTask内存上限1G。如果数据量是128m，正常不需要调整内存；如果数据量大于128m可以增加MapTask的内存，按照128m对应1G的规则增加。最大可以增加到4-5G。
7. map

二、Reduce阶段

1. 合理设置Map和Reduce数：太少导致Task等待，太多导致Map、Reduce任务间竞争资源，造成处理超时等错误。
2. 设置Map、Reduce共存：调整mapreduce.job.reduce.slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。默认为0.05。
3. 规避使用Reduce，因为Reduce在用于连接数据集的时候会产生大量的网络消耗。
4. 增加每个Reduce去Map拉取数据的并行数。默认5，可以提高到10。
5. 集群性能支持的情况下，增大Reduce端存储数据的内存大小。默认0.7，可以提高到0.8。

三、IO传输

采用数据压缩可以减少网络IO的时间。

1. map输入端主要考虑数据量大小和切片。支持切片的有Bzip2、LZO。注意LZO要支持切片需要创建索引。
2. map端输出主要考虑速度，速度快的snappy和LZO。
3. reduce端输出主要看具体需求，例如作为下一个MR输入就需要考虑切片；永久保存就需要考虑压缩率大的gzip。

四、整体

1. NodeManager默认内存8G，需要根据服务器实际配置调整，例如128G内存配置100G内存，yarn.nodemanager.resource.memory-mb。
2. 单任务默认内存8G，需要根据该任务的数据量灵活调整，例如128m数据对应1G内存，yarn.scheduler.maximum-allocation-mb。
3. mapreduce.map.memory.mb:控制分配给MapTask内存上限，如果超过会kill掉进程。默认大小为1G。如果数据量是128m，正常不需要调整内存，如果数据量大于128m可以增加MapTask的内存，按128m对应1G的规则增加，最大可以增加到4-5G。
4. mapreduce.reduce.memory.mb:控制分配给ReduceTask的内存上限，同MapTask。
5. mapreduce.map.java.opts:控制MapTask堆内存大小。
6. mapreduce.reduce.java.opts:控制ReduceTask堆内存大小。
7. 增加MapTaskCPU核数，增加ReduceTaskCPU核数。默认1.
8. 增加每个Container的CPU核数（1-4）和内存大小（4G-16G）。
9. hdfs-site.xml文件中配置多目录（多磁盘）
   10.NameNode有一个工作线程池，用来处理不同的DataNode和并发心跳以及客户端的并发元数据操作。 $$dfs.namenode.handler.count=20\ast l{n}^{ClusterSize}$$
   比如集群规模为8台时，此参数设置为41。