hadoop配置文件及常用配置

在安装完hadoop后，配置文件保存在etc/hadoop/下，通常需要我们做修改。
- core-site.xml 全局配置
- hadoop-site.xml
- yarn-site.xml
- mapred-site.xml
可以参看hadoop文档下的默认配置修改

常用的修改如下：

core-site.xml

1. namenode RPC 端口，域名设置(..*=hostname)

        <property>
        <name>fs.defaultFSname>
        <value>hdfs://***.***.***:8020value>
        property>

1. 默认临时目录设置，默认为/tmp/hadoop-${user.name}

    <property>
    <name>hadoop.tmp.dirname>
    <value>/opt/datas/tmpvalue>
    property>

1. HDFS WEB UI显示的用户名，默认为df.who

    <property>
      <name>hadoop.http.staticuser.username>
      <value>lufyvalue>
    property>

hdfs-site.xml

1. 文件复制的副本数，默认为3

    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>

• 权限控制

<property>
  <name>dfs.permissions.enabledname>
  <value>falsevalue>
property>

yarn-site.xml

• 主机名

    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>***.***.comvalue>
    property>

• 增加应用服务

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>

• 日志聚集，默认false, -1

 <property>
    <name>yarn.log-aggregation-enablename>
    <value>truevalue>
  property>

  <property>
    <name>yarn.log-aggregation.retain-secondsname>
    <value>100086value>
  property> 

编辑slaves

hadoop.beifeng.com

编辑mapred-site.xml

    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>

格式化文件系统

$ bin/hadoop namenode -format

启动守护进程

ssh无法连接slave节点。 需要配置ssh
- namenode,datanode

-resourcemanger, nodemanager

进入WEBUI界面

http://..com:8088/cluster

http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html