基于ambari的mapred-site.xml的分析

key	value	描述
mapred.child.java.opts	-Xmx512M	JVM启动的子线程可以使用的最大内存，建议值-XX:-UseGCOverheadLimit -Xms512m -Xmx2048m -verbose:gc -Xloggc:/tmp/@[email protected]
mapred.map.child.java.opts	-Xmx512M
mapred.reduce.child.java.opts	-Xmx512M
mapreduce.admin.map.child.java.opts	-server -XX:NewRatio=8 -Djava.net.preferIPv4Stack=true -Dhdp.version=${hdp.version}
mapreduce.admin.reduce.child.java.opts	-server -XX:NewRatio=8 -Djava.net.preferIPv4Stack=true -Dhdp.version=${hdp.version}
mapreduce.admin.user.env	LD_LIBRARY_PATH=/usr/hdp/$hdp.version/hadoop/lib/native:/usr/hdp/${hdp.version}/hadoop/lib/native/Linux-amd64-64:./mr-framework/hadoop/lib/native:./mr-framework/hadoop/lib/native/Linux-amd64-64
mapreduce.am.max-attempts	2	最大应用程序尝试次数。这是一个特定于应用程序的设置。它不应大于resourcemanager设置的全局数。否则，它将被覆盖。默认数量设置为2，以允许至少一次重试AM
mapreduce.application.classpath	$PWD/mr-framework/hadoop/share/hadoop/mapreduce/\ast :$PWD/mr-framework/hadoop/share/hadoop/mapreduce/lib/:$PWD/mr-framework/hadoop/share/hadoop/common/\ast :$PWD/mr-framework/hadoop/share/hadoop/common/lib/:$PWD/mr-framework/hadoop/share/hadoop/yarn/\ast :$PWD/mr-framework/hadoop/share/hadoop/yarn/lib/:$PWD/mr-framework/hadoop/share/hadoop/hdfs/\ast :$PWD/mr-framework/hadoop/share/hadoop/hdfs/lib/:$PWD/mr-framework/hadoop/share/hadoop/tools/lib/\ast :/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar:/etc/hadoop/conf/secure:/usr/hdp/current/ext/hadoop/*
mapreduce.application.framework.path	/hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
mapreduce.cluster.administrators	hadoop
mapreduce.framework.name	yarn	用于执行MapReduce作业的运行时框架。可以是local，classic或yarn之一
mapreduce.job.counters.max	130	默认值120
mapreduce.job.emit-timeline-data	false	指定Application Master是否应将时间轴数据发送到时间轴服务器。单个作业可以覆盖此值
mapreduce.job.queuename	default	提交作业的队列。这必须与mapred-queues.xml中为系统定义的队列之一匹配。此外，队列的ACL设置必须允许当前用户将作业提交到队列。在指定队列之前，请确保使用队列配置系统，并允许访问以将作业提交到队列
mapreduce.job.reduce.slowstart.completedmaps	0.05	作业中应该在减少之前完成的作业中的地图数量的分数被安排
mapreduce.jobhistory.address	localhost:10020
mapreduce.jobhistory.bind-host	0.0.0.0
mapreduce.jobhistory.done-dir	/mr-history/done
mapreduce.jobhistory.http.policy	HTTP_ONLY
mapreduce.jobhistory.intermediate-done-dir	/mr-history/tmp
mapreduce.jobhistory.recovery.enable	true
mapreduce.jobhistory.recovery.store.class	org.apache.hadoop.mapreduce.v2.hs.HistoryServerLeveldbStateStoreService
mapreduce.jobhistory.recovery.store.leveldb.path	/hadoop/mapreduce/jhs
mapreduce.jobhistory.webapp.address	localhost:19888
mapreduce.map.java.opts	-Xmx4096m	每个Map任务的JVM需要的内存量，一般为map内存的0.8
mapreduce.map.log.level	INFO
mapreduce.map.memory.mb	5120	每个Map所占的内存
mapreduce.map.output.compress	false	是否开启压缩输出
mapreduce.map.sort.spill.percent	0.7	Map阶段溢写文件的阈值（排序缓冲区大小的百分比）
mapreduce.map.speculative	false	如果为true，则可以并行执行一些映射任务的多个实例
mapreduce.output.fileoutputformat.compress	false
mapreduce.output.fileoutputformat.compress.type	BLOCK
mapreduce.reduce.input.buffer.percent	0.0	reduce函数开始运行时，内存中的map输出所占的堆内存比例不得高于这个值，默认情况内存都用于reduce函数，也就是map输出都写入到磁盘
mapreduce.reduce.java.opts	-Xmx8192m	每个Reduce任务jvmde内存量。为reduce内存量的0.8
mapreduce.reduce.log.level	INFO
mapreduce.reduce.memory.mb	10240	每个ReduceTask需要的内存量
mapreduce.reduce.shuffle.fetch.retry.enabled	1	设置为在主机重新启动期间启用提取重试
mapreduce.reduce.shuffle.fetch.retry.interval-ms	1000
mapreduce.reduce.shuffle.fetch.retry.timeout-ms	30000
mapreduce.reduce.shuffle.input.buffer.percent	0.7	在shuffle期间从最大堆大小分配到存储映射输出的内存百分比。
mapreduce.reduce.shuffle.merge.percent	0.66	将启动内存中合并的使用阈值，表示为分配给存储内存映射输出的总内存的百分比
mapreduce.reduce.shuffle.parallelcopies	30	在复制（随机播放）阶段，默认的并行传输数由reduce运行
mapreduce.reduce.speculative	false	如果为true，则可以并行执行某些reduce任务的多个实例
mapreduce.shuffle.port	13562
mapreduce.task.io.sort.factor	100	在Reduce Task阶段，排序文件时一次合并的流的数量。 这决定了打开文件句柄的数量。也即是一次合并的文件数据，每次合并的时候选择最小的前10进行合并。
mapreduce.task.io.sort.mb	2047	排序文件时使用的缓冲区内存总量，以兆字节为单位。 默认情况下，为每个合并流提供1MB，这应该最小化搜索。
mapreduce.task.timeout	300000
yarn.app.mapreduce.am.admin-command-opts	-Dhdp.version=${hdp.version}
yarn.app.mapreduce.am.command-opts	-Xmx4096m -Dhdp.version=${hdp.version}
yarn.app.mapreduce.am.log.level	INFO
yarn.app.mapreduce.am.resource.mb	5120	MR ApplicationMaster占用的内存量
yarn.app.mapreduce.am.staging-dir	/user
yarn.app.mapreduce.client.job.max-retries	60	默认值3