HDFS NameNode HA环境部署

为什么要搭建NameNode HA？

因为hadoop中NameNode存在单节点故障。hadoop1.x 中的Secondarynamenode仅仅使用了合并namenode中的edit文件和fsimage文件（并做备份），防止edit文件过大，NameNode重启时会读取大量的编辑文件，导致启动很慢。但是它只是namenode的一个协助节点，在namenode出现故障后，不能由它来接手namenode。

NameNode HA原理

QQ图片20161016183256.png

1. 首先由两个namenode节点，为了保持两个NameNode内存中存储文件系统的系统元数据要同步(fsimage和edit等文件)。所以通过配置Quorum Journal Node节点，一个namenode节点向JN节点写入要共享的数据，另外一个namenode节点从JN节点读数据。为了保证共享数据的安全性，JN节点也为多个。
2. 如果同时又两个namenode节点对外提供访问，会导致数据的不一致性。所以要保证一个为active状态，另外一个为standby(备用)状态。同时当active宕掉，为了standby能够迅速转换为active状态，所以datanode需要同时向这两个namenode节点发送数据位置信息和心跳。
3. 需要配置隔离机制来保证有且仅有一个namenode对外提供服务。防止裂脑(两个namenode节点都可以命令datanode)的发生。
4. 客户端不知道向哪一个namenode为活动状态，所以也不知道向哪一个节点发送请求。需要在前面加一层代理，让代理来决定访问哪一台机器。
5. 前面的问题解决后，active和standby之前的切换必须手动。结合Zookeeper集群中Zookeeper faileover controller（ZKFC）故障转移监控器 来监控节点并自动的将standby切换到active。

HA配置步骤

1. 对hdfs-site.xml文件进行配置，并分发到其余两个节点

        
        
                dfs.nameservices
                ns1
        
        
        
                dfs.ha.namenodes.ns1
                nn1,nn2
        
       
        
                dfs.namenode.rpc-address.ns1.nn1
                bigdata-00:8020
        
        
                dfs.namenode.rpc-address.ns1.nn2
                bigdata-01:8020
        
        
        
                dfs.namenode.http-address.ns1.nn1
                bigdata-00:50070
        
        
        
        
                dfs.namenode.http-address.ns1.nn2
                bigdata-01:50070
                
        
        
                dfs.namenode.shared.edits.dir
                qjournal://bigdata-00:8485;bigdata-01:8485;bigdata-02:8485/ns1
        
        
        
                dfs.journalnode.edits.dir
                /opt/app/hadoop-2.5.0/data/dfs/jn
        
        
             
                dfs.client.failover.proxy.provider.ns1
                org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        
        
        
                 dfs.ha.fencing.methods
                  sshfence
        
        
                dfs.ha.fencing.ssh.private-key-files
                /home/wulei/.ssh/id_rsa
        

2. 对core-site.xml文件进行配置

        
        
                hadoop.tmp.dir
                /opt/app/hadoop-2.5.0/data/tmp
        
        
        
                  fs.defaultFS
                  hdfs://ns1
        

3. 每个节点启动journalnode和namenode服务

• 三个节点启动journalnode服务。

  
  
  

  jn1.png
• 对其中一个namenode进行格式化

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs namenode -format

• 启动namenode服务,查看节点状态

[wulei@bigdata-00 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-wulei-namenode-bigdata-00.out
[wulei@bigdata-00 hadoop-2.5.0]$ jps
5095 JournalNode
5338 NameNode
5406 Jps

nn1.png

• 把nn1的fsimage文件同步到nn2上,再启动nn2中的namenode查看状态。

  
  
  

  nn2.png
  
  
  

  nn3.png
• 手动切换nn1的状态为active，并启动三个datanode节点

$ bin/hdfs haadmin -transitionToActive nn1

nn4.png

dn1.png

3. 测试两个namenode之间数据是否能同步(在active节点上创建目录，然后结束这个active nemenode节点，把另外一个standby节点转换为active节点，看是否能访问目录)

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x - wulei supergroup 0 2016-10-21 10:31 /test
[wulei@bigdata-01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn2 --forceactive
[wulei@bigdata-01 hadoop-2.5.0]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x - wulei supergroup 0 2016-10-21 10:31 /test

4. 借助zookeeper集群来配置namenode HA自动故障转移

• 在部署好zookeeper集群后并启动进程

[wulei@bigdata-00 hadoop-2.5.0]$ jps
9155 QuorumPeerMain
[wulei@bigdata-01 hadoop-2.5.0]$ jps
5195 QuorumPeerMain
[wulei@bigdata-02 hadoop-2.5.0]$ jps
3886 QuorumPeerMain

• 对文件增加配置，并分发给其他节点
  hdfs-site.xml

       dfs.ha.automatic-failover.enabled
       true
 

core-site.xml

    
        ha.zookeeper.quorum
        bigdata-00:2181,bigdata-01:2181,bigdata-02:2181
    

• 初始化zookeeper HA状态，生成znode节点(每个节点对应一个目录)

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK

• 客户端连接zookeeper，查看节点是否创建成功

[wulei@bigdata-00 hadoop-2.5.0]$ zookeeper-3.4.6/bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 3] ls /
[zookeeper, hadoop-ha]
[zk: localhost:2181(CONNECTED) 4] ls /hadoop-ha
[ns1]

• 启动集群服务进程后，在两个namonode节点上启动ZKFC服务

[wulei@bigdata-00 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc
[wulei@bigdata-01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc

• 查看两个namenode节点状态。可以发现已经通过选举自动选出了一个active，另外一个作为standby。

  
  
  

  zk1.png
  
  
  

  zk2.png
• 启动resourcemanager和nodemanager。在active上运行mapreduce程序，中途关闭active的节点后，查看程序运行情况和nn2的状态。会发现程序任然可以执行，为standby状态的节点自动转换为active。

[wulei@bigdata-00 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /test/in/ /test/out

tt1.png

tt2.png