hadoop2.7.3 HA高可用集群安装

1. hadoop2.7.3 HA高可用集群安装
   1. 1. HDFS高可用性（NameNode）
      2. 
         1. 1. NN必须实现共享元数据才能保证无缝切换；共享元数据可以采用Linux提供的NFS服务，也可以使用Hadoop提供的JournalNode；JournalNode采用多数派理论，保证半数以上的节点写成功即认为成功。
            2. NN要实现自动切换（不需要手工切换），就必须实现实时监控每个节点的状态；这里采用DFSFailoverController进行监控，如果某个NN失败，其他NN能够通过ZK被通知到，并接替NN的任务。
      3. RM高可用性（ResourceManager）
      4. 
         1. ResourceManager 借助 zk 实现热备，当某个节点失效之后另一个节点能够被通知，并接管任务。
      5. Hadoop2.7.3 HA搭建步骤
         1. 
            1. 1. 环境准备
                  1. 1. 所有节点安装jdk1.8，ssh，配置hosts文件，配置centos680和centos681之间的互相免登陆，centos680到其他所有机器的免登陆，关闭防火墙。
                     2. 在centos682，centos683，centos684上安装Zookeeper3.4.9。
               2. Hadoop安装配置
                  1. 1. 复制hadoop-2.7.3.tar.gz到centos680的/opt目录下，以后所有的操作都在centos680上进行。
                     2. 解压hadoop-2.7.3.tar.gz到/opt/bigdata文件夹下：tar –zxvf hadoop-2.7.3.tar.gz –C /opt/bigdata/。
               4. 修改配置
   2. 1. 1. 1. 1. hadoop-env.sh
   3. 
      修改 JAVA_HOME
   4. 2. 2. 2. 2. core-site.xml
   5. 
   6. 3. 3. 3. 3. hdfs-site.xml

   7.   
              dfs.nameservices 
              ns 
           
      
           
              dfs.ha.namenodes.ns 
              nn1,nn2 
           
      
           
              dfs.namenode.rpc-address.ns.nn1 
              centos680:9000 
           
      
           
              dfs.namenode.http-address.ns.nn1 
              centos680:50070 
           
      
           
              dfs.namenode.rpc-address.ns.nn2 
              centos681:9000 
           
      
           
              dfs.namenode.http-address.ns.nn2 
              centos681:50070 
           
      
           
              dfs.namenode.shared.edits.dir 
              qjournal://zk1:8485;zk2:8485;zk3:8485/ns 
           
      
           
              dfs.journalnode.edits.dir 
              /opt/big/hadoop-2.7.3/journaldata 
           
      
           
              dfs.ha.automatic-failover.enabled 
              true 
           
      
           
              dfs.client.failover.proxy.provider.ns 
              
                      org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
               
           
           
              dfs.ha.fencing.methods 
               
                  sshfence 
                  shell(/bin/true) 
               
           
           
              dfs.ha.fencing.ssh.private-key-files 
              /root/.ssh/id_rsa 
           
           
              dfs.ha.fencing.ssh.connect-timeout 
              30000 
          
   8. 4. 4. 4. 4. mapred-side.xml
                  

   9. 	
                      mapreduce.framework.name
                      yarn
              
      

      
      
      
   10. 5. 5. 5. 5. yarn-site.xml
                   

                6. 
                                                             
                   
                                                             
                   
                                                                yarn.resourcemanager.ha.enabled
                   
                                                                true
                   
                                                             
                   
                                                             
                   
                                                             
                   
                                                                yarn.resourcemanager.cluster-id
                   
                                                                yrc
                   
                                                             
                   
                                                             
                   
                                                             
                   
                                                                yarn.resourcemanager.ha.rm-ids
                   
                                                                rm1,rm2
                   
                                                             
                   
                                                             
                   
                                                             
                   
                                                                yarn.resourcemanager.hostname.rm1
                   
                                                                h0
                   
                                                             
                   
                                                             
                   
                                                                yarn.resourcemanager.hostname.rm2
                   
                                                                h1
                   
                                                             
                   
                                                             
                   
                                                             
                   
                                                                yarn.resourcemanager.zk-address
                   
                                                                h2:2181,h3:2181,h4:2181
                   
                                                             
                   
                                                             
                   
                                                                yarn.nodemanager.aux-services
                   
                                                                mapreduce_shuffle
                   
                                                             
                   
                                               

                   
                   
                   
   11. 6. 6. 6. 6. slaves
                   
   12. 
   13. 2. 2. 2. 分发到其他节点（在centos680上操作）
                
   14.   scp -r /opt/bigdata/hadoop-2.7.3/ h1:/opt/bigdata/
         scp -r /opt/bigdata/hadoop-2.7.3/ h2:/opt/bigdata/
         scp -r /opt/bigdata/hadoop-2.7.3/ h3:/opt/bigdata/
         scp -r /opt/bigdata/hadoop-2.7.3/ h4:/opt/bigdata/
   15. 3. 3. 3. 初始化和启动
                1. 到h2,h3,h4启动所有的Zookeeper。
                2. 到h2,h3,h4启动JournalNode（hadoop-daemon.sh start journalnode）
                3. 到centos680上执行格式化namenode（hdfs namenode -format）,并将格式化后的元数据内容复制到另外一个namenode节点中（h1）:scp -r tmp/ h1:/opt/bigdata/hadoop-2.7.3/(tmp是在core-site中配置的namenode元数据应该所处的位置)
                4. 格式化zk：bin/hdfs zkfc –formatZK。该操作在Zookeeper中创建了数据节点：
                   
   16. 
   17. 5. 5. 5. 5. 启动dfs和yarn
                   
   18. sbin/start-dfs.sh
       sbin/start-yarn.sh
   19. 4. 4. 4. 验证
                
   20.    通过杀死 active 的 namenode 进程或者关闭 namenode 所在机器来验证切换情况。