mapred.child.java.opts |
-Xmx512M |
JVM启动的子线程可以使用的最大内存,建议值-XX:-UseGCOverheadLimit -Xms512m -Xmx2048m -verbose:gc -Xloggc:/tmp/@taskid@.g |
mapred.map.child.java.opts |
-Xmx512M |
|
mapred.reduce.child.java.opts |
-Xmx512M |
|
mapreduce.admin.map.child.java.opts |
-server -XX:NewRatio=8 -Djava.net.preferIPv4Stack=true -Dhdp.version=${hdp.version} |
|
mapreduce.admin.reduce.child.java.opts |
-server -XX:NewRatio=8 -Djava.net.preferIPv4Stack=true -Dhdp.version=${hdp.version} |
|
mapreduce.admin.user.env |
LD_LIBRARY_PATH=/usr/hdp/ h d p . v e r s i o n / h a d o o p / l i b / n a t i v e : / u s r / h d p / {hdp.version}/hadoop/lib/native:/usr/hdp/ hdp.version/hadoop/lib/native:/usr/hdp/{hdp.version}/hadoop/lib/native/Linux-amd64-64:./mr-framework/hadoop/lib/native:./mr-framework/hadoop/lib/native/Linux-amd64-64 |
|
mapreduce.am.max-attempts |
2 |
最大应用程序尝试次数。这是一个特定于应用程序的设置。它不应大于resourcemanager设置的全局数。否则,它将被覆盖。默认数量设置为2,以允许至少一次重试AM |
mapreduce.application.classpath |
P W D / m r − f r a m e w o r k / h a d o o p / s h a r e / h a d o o p / m a p r e d u c e / ∗ : PWD/mr-framework/hadoop/share/hadoop/mapreduce/*: PWD/mr−framework/hadoop/share/hadoop/mapreduce/∗:PWD/mr-framework/hadoop/share/hadoop/mapreduce/lib/: P W D / m r − f r a m e w o r k / h a d o o p / s h a r e / h a d o o p / c o m m o n / ∗ : PWD/mr-framework/hadoop/share/hadoop/common/*: PWD/mr−framework/hadoop/share/hadoop/common/∗:PWD/mr-framework/hadoop/share/hadoop/common/lib/: P W D / m r − f r a m e w o r k / h a d o o p / s h a r e / h a d o o p / y a r n / ∗ : PWD/mr-framework/hadoop/share/hadoop/yarn/*: PWD/mr−framework/hadoop/share/hadoop/yarn/∗:PWD/mr-framework/hadoop/share/hadoop/yarn/lib/: P W D / m r − f r a m e w o r k / h a d o o p / s h a r e / h a d o o p / h d f s / ∗ : PWD/mr-framework/hadoop/share/hadoop/hdfs/*: PWD/mr−framework/hadoop/share/hadoop/hdfs/∗:PWD/mr-framework/hadoop/share/hadoop/hdfs/lib/: P W D / m r − f r a m e w o r k / h a d o o p / s h a r e / h a d o o p / t o o l s / l i b / ∗ : / u s r / h d p / PWD/mr-framework/hadoop/share/hadoop/tools/lib/*:/usr/hdp/ PWD/mr−framework/hadoop/share/hadoop/tools/lib/∗:/usr/hdp/{hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar:/etc/hadoop/conf/secure:/usr/hdp/current/ext/hadoop/* |
|
mapreduce.application.framework.path |
/hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework |
|
mapreduce.cluster.administrators |
hadoop |
|
mapreduce.framework.name |
yarn |
用于执行MapReduce作业的运行时框架。可以是local,classic或yarn之一 |
mapreduce.job.counters.max |
130 |
默认值120 |
mapreduce.job.emit-timeline-data |
false |
指定Application Master是否应将时间轴数据发送到时间轴服务器。单个作业可以覆盖此值 |
mapreduce.job.queuename |
default |
提交作业的队列。这必须与mapred-queues.xml中为系统定义的队列之一匹配。此外,队列的ACL设置必须允许当前用户将作业提交到队列。在指定队列之前,请确保使用队列配置系统,并允许访问以将作业提交到队列 |
mapreduce.job.reduce.slowstart.completedmaps |
0.05 |
作业中应该在减少之前完成的作业中的地图数量的分数被安排 |
mapreduce.jobhistory.address |
localhost:10020 |
|
mapreduce.jobhistory.bind-host |
0.0.0.0 |
|
mapreduce.jobhistory.done-dir |
/mr-history/done |
|
mapreduce.jobhistory.http.policy |
HTTP_ONLY |
|
mapreduce.jobhistory.intermediate-done-dir |
/mr-history/tmp |
|
mapreduce.jobhistory.recovery.enable |
true |
|
mapreduce.jobhistory.recovery.store.class |
org.apache.hadoop.mapreduce.v2.hs.HistoryServerLeveldbStateStoreService |
|
mapreduce.jobhistory.recovery.store.leveldb.path |
/hadoop/mapreduce/jhs |
|
mapreduce.jobhistory.webapp.address |
localhost:19888 |
|
mapreduce.map.java.opts |
-Xmx4096m |
每个Map任务的JVM需要的内存量,一般为map内存的0.8 |
mapreduce.map.log.level |
INFO |
|
mapreduce.map.memory.mb |
5120 |
每个Map所占的内存 |
mapreduce.map.output.compress |
false |
是否开启压缩输出 |
mapreduce.map.sort.spill.percent |
0.7 |
Map阶段溢写文件的阈值(排序缓冲区大小的百分比) |
mapreduce.map.speculative |
false |
如果为true,则可以并行执行一些映射任务的多个实例 |
mapreduce.output.fileoutputformat.compress |
false |
|
mapreduce.output.fileoutputformat.compress.type |
BLOCK |
|
mapreduce.reduce.input.buffer.percent |
0.0 |
reduce函数开始运行时,内存中的map输出所占的堆内存比例不得高于这个值,默认情况内存都用于reduce函数,也就是map输出都写入到磁盘 |
mapreduce.reduce.java.opts |
-Xmx8192m |
每个Reduce任务jvmde内存量。为reduce内存量的0.8 |
mapreduce.reduce.log.level |
INFO |
|
mapreduce.reduce.memory.mb |
10240 |
每个ReduceTask需要的内存量 |
mapreduce.reduce.shuffle.fetch.retry.enabled |
1 |
设置为在主机重新启动期间启用提取重试 |
mapreduce.reduce.shuffle.fetch.retry.interval-ms |
1000 |
|
mapreduce.reduce.shuffle.fetch.retry.timeout-ms |
30000 |
|
mapreduce.reduce.shuffle.input.buffer.percent |
0.7 |
在shuffle期间从最大堆大小分配到存储映射输出的内存百分比。 |
mapreduce.reduce.shuffle.merge.percent |
0.66 |
将启动内存中合并的使用阈值,表示为分配给存储内存映射输出的总内存的百分比 |
mapreduce.reduce.shuffle.parallelcopies |
30 |
在复制(随机播放)阶段,默认的并行传输数由reduce运行 |
mapreduce.reduce.speculative |
false |
如果为true,则可以并行执行某些reduce任务的多个实例 |
mapreduce.shuffle.port |
13562 |
|
mapreduce.task.io.sort.factor |
100 |
在Reduce Task阶段,排序文件时一次合并的流的数量。 这决定了打开文件句柄的数量。也即是一次合并的文件数据,每次合并的时候选择最小的前10进行合并。 |
mapreduce.task.io.sort.mb |
2047 |
排序文件时使用的缓冲区内存总量,以兆字节为单位。 默认情况下,为每个合并流提供1MB,这应该最小化搜索。 |
mapreduce.task.timeout |
300000 |
|
yarn.app.mapreduce.am.admin-command-opts |
-Dhdp.version=${hdp.version} |
|
yarn.app.mapreduce.am.command-opts |
-Xmx4096m -Dhdp.version=${hdp.version} |
|
yarn.app.mapreduce.am.log.level |
INFO |
|
yarn.app.mapreduce.am.resource.mb |
5120 |
MR ApplicationMaster占用的内存量 |
yarn.app.mapreduce.am.staging-dir |
/user |
|
yarn.app.mapreduce.client.job.max-retries |
60 |
默认值3 |