MapReduce作业性能调优参数

Map端参数调整

参数名称	类型	默认值	说明
io.sort.mb	int	100	Map阶段内存缓存区大小，默认100M
io.sort.record.percent	float	0.05	io.sort.mb有5%保存记录边界，其他缓存用来保存数据
io.sort.spill.percent	float	0.8	当io.sort.mb超过80%时，进行Spill操作
io.sort.factor	int	10	map结束前做Merge操作时的线程数
min.num.spill.for.combine	int	3	当Map任务生成3个Spill文件时，调用Combine
mapred.compress.map.output	boolean	false	在Spill文件时，或Merge时，保存到磁盘的文件先压缩再保存
mapred.map.output.compression.codec	class	org.apache.hadoop.io. compress.DefaultCodec	GzipCodec，LzoCodec，BZip2Codec，LzmaCodec，SnappyCodec等压缩格式，Lzo和Snappy是按块进行压缩比较合适HDFS按块存储的结构

Reduce端参数调整

参数名称	类型	默认值	说明
mapred.reduce.parallel.copies	int	5	每个reduce并行下载map结果的最大线程数
mapred.reduce.copy.backoff	int	300	每个reduce下载线程最大等待时间（300s）
io.sort.factor	int	10	同Map端
mapred.child.java.opts	string		jvm参数配置
mapred.job.shuffle.input.buffer.percent	float	0.7	Reduce从Map端Copy的数据保存到内存（JVM -Xmx）的大小百分比,默认mapred.child.java.opts*0.7
mapred.job.shuffle.merge.percent	float	0.66	Reduce做Merge操作将内存中的数据写入磁盘，默认mapred.child.java.opts*0.7*0.66
mapred.job.reduce.input.buffer.percent	float	0.0	Reduce数据默认从磁盘读取，设置此参数将Reduce阶段用来缓存数据的百分比