hadoop 2.2.X 配置参数说明:mapred-site.xml

 

   

   mapreduce.task.timeout

   600000

 

   

   mapreduce.cluster.local.dir

   /hadoop/mapred

 

   

   mapreduce.reduce.input.buffer.percent

   0.0

 

   

   mapreduce.jobhistory.address

   hadoop01:10020

 

   

   mapreduce.cluster.reducememory.mb

   2048

 

 

   mapred.cluster.max.reduce.memory.mb

   4096

 

 

   mapred.cluster.max.map.memory.mb

   6144

 

 

   mapred.cluster.map.memory.mb

   1536

 

 

   mapreduce.map.memory.mb

   1536

 

 

 

   mapreduce.reduce.memory.mb

   2048

 

   

   mapred.child.java.opts

   -Xmx1024m

 

   

   mapreduce.tasktracker.healthchecker.script.path

   file:////mapred/jobstatus

 

   

   yarn.app.mapreduce.am.staging-dir

   /user

 

   

   mapred.task.tracker.task-controller

   org.apache.hadoop.mapred.DefaultTaskController

 

   

   mapreduce.jobhistory.intermediate-done-dir

   /mr-history/tmp

 

   

   mapreduce.map.sort.spill.percent

   0.1

 

   

   mapreduce.jobhistory.done-dir

   /mr-history/done

 

   

   mapreduce.jobhistory.webapp.address

   hadoop01:19888

 

   

   mapreduce.map.speculative

   false

 

   

   mapreduce.output.fileoutputformat.compress.type

   BLOCK

 

 

   mapreduce.map.output.compress

   FALSE

 

   

   mapreduce.output.fileoutputformat.compress.codec

   org.apache.hadoop.io.compress.DefaultCodec

 

   

   mapreduce.task.io.sort.mb

   200

 

   

   mapreduce.reduce.merge.inmem.threshold

   1000

 

   

   mapreduce.shuffle.port

   8081

 

   

   mapred.jobtracker.taskScheduler

   org.apache.hadoop.mapred.CapacityTaskScheduler

 

   

   mapreduce.task.io.sort.factor

   100

 

   

   mapreduce.jobtracker.system.dir

   /mapred/system

 

   

   mapreduce.jobtracker.tasktracker.maxblacklists

   16

 

   

   mapreduce.reduce.shuffle.input.buffer.percent

   0.7

 

 

   mapreduce.job.maps

   6

 

 

   mapreduce.job.reduces

   3

 

   

   mapreduce.reduce.shuffle.merge.percent

   0.66

 

   

   mapred.jobtracker.maxtasks.per.job

   -1

 

   

   mapreduce.job.reduce.slowstart.completedmaps

   0.05

 

   

   mapreduce.tasktracker.healthchecker.script.timeout

   60000

 

   

   mapreduce.reduce.input.limit

   10737418240

 

   

   mapreduce.reduce.shuffle.parallelcopies

   30

 

 

   mapreduce.tasktracker.reduce.tasks.maximum

   4

 

 

   mapreduce.tasktracker.map.tasks.maximum

   4

 

   

   mapreduce.reduce.speculative

   false

 

   

   mapreduce.framework.name

   yarn

 

   

   mapred.userlog.retain.hours

   24

 

 

mapreduce.admin.map.child.java.opts

-server -XX:NewRatio=8 -Djava.library.path=/usr/lib/hadoop/lib/native/ -Djava.net.preferIPv4Stack=true

true

 

mapreduce.admin.reduce.child.java.opts

-server -XX:NewRatio=8 -Djava.library.path=/usr/lib/hadoop/lib/native/ -Djava.net.preferIPv4Stack=true

true

 

 

io.compression.codecs    

org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec

 

 


你可能感兴趣的:(hadoop 2.2.X 配置参数说明:mapred-site.xml)