hadoop 2.7.3部署配置文件记录

brief of 步骤
规划：3台centos7.2，暂时不设置HA
1. ssh已经配置好
2. 解压到hadoop用户下，改名字（去掉版本号）
3. 配置环境变量

、、、、、、、、、、、、、、、、、、、、、、
nn节点：
hadoop_home
yarn_home
hadoop_user_name
、、、、、、、、、、、、、、、、、、、、、、
dn节点：
hadoop_log_dir
yarn_log_dir

4 .配置core-site.xml
这里比官网多一个tmp目录的配置

        
        <property>
                <name>fs.defaultFSname>
                <value>hdfs://namenode:9000value>
        property>
        
        <property>
         <name>io.file.buffer.sizename>
         <value>131072value>
       property>
        
        <property>
                <name>hadoop.tmp.dirname>
                <value>/home/hadoop/hadoop/tmpvalue>
        property>

5.配置etc/hadoop/hdfs-site.xml
1）这里配置dfs.blocksize来设定每一块数据的大小
2）dfs.hosts / dfs.hosts.exclude 为datanodes设置可访问可用列表，做更细粒度的控制时可能会有用
3）dfs.namenode.handler.count 不知道有啥用
4）dfs.datanode.data.dir 这个配置项是不是只需要在datanode上配置就行了？

    <property>
      <name>dfs.namenode.secondary.http-addressname>
      <value>namenode:50090value>
    property>
    <property>
      <name>dfs.replicationname>
      <value>2value>
    property>
    <property>
      <name>dfs.namenode.name.dirname>
      <value>file:/home/hadoop/hadoop/hdfs/namevalue>
    property>
    <property>
      <name>dfs.datanode.data.dirname>
      <value>file:/home/hadoop/hadoop/hdfs/datavalue>
    property>

6.配置etc/hadoop/yarn-site.xml
1）yarn.acl.enable ACL可以限制网络流量、提高网络性能。例如，ACL可以根据数据包的协议，指定数据包的优先级

     <property>
          <name>yarn.nodemanager.aux-servicesname>
          <value>mapreduce_shufflevalue>
     property>
     <property>
           <name>yarn.resourcemanager.addressname>
           <value>namenode:8032value>
     property>
     <property>
          <name>yarn.resourcemanager.scheduler.addressname>
          <value>namenode:8030value>
      property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.addressname>
         <value>namenode:8031value>
     property>
     <property>
         <name>yarn.resourcemanager.admin.addressname>
         <value>namenode:8033value>
     property>
     <property>
         <name>yarn.resourcemanager.webapp.addressname>
         <value>namenode:8088value>
     property>

7配置etc/hadoop/mapred-site.xml

  <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
  <property>
          <name>mapreduce.jobhistory.addressname>
          <value>namenode:10020value>
  property>
  <property>
          <name>mapreduce.jobhistory.addressname>
          <value>namenode:19888value>
  property>

8，配置hadoop/etc/hadoop/hadoop-env.sh
1) JAVA_HOME,硬编码方式设置
2) hadoop_conf_dir 也写死了
9，配置slavers文件，让namenode知道自己的从节点是谁
10，格式化namenode
11，启动hadoop