hadoop各个配置文件的作用

core-site.xml
  <property> //指定hdfs的主端口 namenode要放在哪台机器上
    <name>fs.defaultFSname>
    <value>hdfs://hadoop001:9000value> //主机名+端口号
  property>
  <property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
    <name>hadoop.tmp.dirname>
    <value>usr/soft/tmp/
  value>
  property>
  <property> //流缓冲区大小 128MB 
    <name>io.file.buffer.sizename>
    <value>131072value>
  property>

hdfs-site.xml
  <property> //副本数
    <name>dfs.replicationname>
    <value>2value>
  property>
  <property> //secondary
    <name>dfs.secondary.http.addressname>
    <value>hadoop001:50090value>
  property>

yarn-site.xml
  <property> //mapreduce中的shuffle过程
    <name>yarn.resourcemanager.hostnamename>
    <value>hadoop001value>
  property>
  <property> //resourcemanager 在哪台主机上
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
  property>

mapred-site.xml
  <property> //mapreduce 依赖的框架
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
  <property> //历史服务器监控端口
    <name>mapreduce.jobhistory.addressname>
    <value>hadoop001:10020value>
  property>
  <property> //历史服务器的web监控地址
    <name>mapreduce.jobhistory.webapp.addressname>
    <value>hadoop001:19888value>
  property>
  <property> //历史服务器的记录的最大容纳数
    <name>mapreduce.jobhistory.joblist.cache.sizename>
    <value>20000value>
  property>

你可能感兴趣的:(技术类)