Mapreduce 优化策略

优化策略

• 优化Map和Reducer数量。
• 输入，大文件优于小文件。
• 减少网络传输（尤其是shuffle阶段）：压缩或combiner

设置相关参数。

map端：

Map输出并非简单输出到磁盘，而是缓冲的方式写入内存并做预排序。当缓冲区满了则刷入磁盘。 缓冲区占用内存空间的大小，此处可以调优
Mapreduce.task.io.sort.mb 设置缓冲区大小mapreduce.map.sort.spill.percent设置缓冲区写数据百分比
Map缓冲区每刷一次磁盘，产生一个溢出文件。Map输出结束后，所有溢出文件会被合并为一个已分区且已排序的 输出文件。
mapreduce.task.io.sort.factor
控制合并线程的数量
将压缩后的map结果输出可以减少磁盘写入 量和网络传输量。
Mapreduce.map.output.compress
对map输出结果做压缩，数据占用存储空间减小，网络传输减少

Reduce端：

只要有一个map任务完成，reduce便开始复制其输出，reduce有少量的线程做复制。复制完所有map输出后，reduce便会进入合 并阶段。合并后的数据作为reduce输入。
Mapreduce.reduce.shuffle.parallelcopies
控制从map端拷贝数据的线程数量

Combiner

集群上最紧俏的资源便是网络带宽，因此尽量减少map和reduce阶段的网络传输对MapReduce的性能提升是很重要的。
Hadoop为map任务的输出指定了一个合并函数：combiner
Combiner的实现和reduce是一样的，继承于reducer
在Job.setCombinerClass()要指定combiner类，combiner将map输出结果做一个合并，函数的输出作为reduce的输入
例如：map输出结果{(6,1),(7,1),(6,1),(6,1)}，统计每个数字出现的次数。 没有combiner函数时，到reduce的输入数据为： {(6,1),(7,1),(6,1),(6,1)} 增加了Combiner函数后，到reduce的输入数据为{(6,3)(7,1)} 依次，如果在大量数据的情况下，这样可以减少很大的网络传输。
※注意：并不是所有的场合都适合做combiner,例如AVG。 例如：计算平均值，得到的结果是不正确的
有combiner后的reduce结果：avg(avg(0,10,20),avg(15,25))=15 错误
没有combiner后的reduce结果:avg(0,10,20,15,25)=14 正确

压缩

压缩可以发生在三个地方：

• 输入数据压缩、
• map输出压缩（关键，涉及到shuffle，网络传输）
• reduce输出压缩。

压缩的优点：减少网络I/O，减少磁盘占用。
压缩的缺点：增加CPU计算量。

MapReduce中配置压缩：

输入文件的压缩

MapReduce会根据文件后缀自动识别使用哪种压缩解码器。

输出压缩：

mapreduce.output.fileoutputformat.compress 是否启动压缩（TRUE/FALSE）mapreduce.output.fileoutputformat.compress.type(block/Row) 压缩类型（块/行）
mapreduce.output.fileoutputformat.compress.codec 指定压缩格式

在代码中指定

使用Bzip2压缩方式

Map输出压缩

mapreduce.map.output.compress 是否启动压缩（TRUE/FALSE）mapreduce.map.output.compress.codec 指定压缩格式

参数配置方法：

Configuration对象set方法传入参数