Hadoop高可用环境搭建

在Hadoop环境搭建中，我们配置多个DataNode保证了DataNode的高可用，但是NameNode是单点的，在生产环境存在风险。接下来配置Hadoop的高可用，其实就是NameNode的高可用。

配置文件修改

• core-site.xml

    fs.defaultFS
    hdfs://mycluster


    hadoop.tmp.dir
    /usr/local/bigdata/software/hadoop-2.7.3/data/temp

 
    ha.zookeeper.quorum  
    master,slave01,slave02 
 

• hdfs-site.xml

    dfs.namenode.secondary.http-address
    slave01:50090


    dfs.replication
    2


 
    dfs.nameservices  
    mycluster 
  
 
    dfs.ha.namenodes.mycluster  
    nn1,nn2 
  
 
    dfs.namenode.rpc-address.mycluster.nn1  
    master:9000 
  
 
    dfs.namenode.http-address.mycluster.nn1  
    master:50070 
  
 
    dfs.namenode.rpc-address.mycluster.nn2  
    slave01:9000 
  
 
    dfs.namenode.http-address.mycluster.nn2  
    slave01:50070 
  
 
    dfs.namenode.shared.edits.dir  
    qjournal://master:8485;slave01:8485;slave02:8485/mycluster 
  
 
    dfs.journalnode.edits.dir  
    /usr/local/bigdata/software/hadoop-2.7.3/data/journal 
  
 
    dfs.ha.automatic-failover.enabled  
    true 
  
 
    dfs.client.failover.proxy.provider.mycluster  
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 
  
 
    dfs.ha.fencing.methods  
    sshfence 
  
 
    dfs.ha.fencing.ssh.private-key-files  
    /home/hadoop/.ssh/id_rsa 
  
 
    dfs.ha.fencing.ssh.connect-timeout  
    30000 
  


    dfs.namenode.name.dir
    file:/usr/local/bigdata/software/hadoop-2.7.3/data/temp/dfs/name


    dfs.datanode.data.dir
    file:/usr/local/bigdata/software/hadoop-2.7.3/data/temp/dfs/data
 

启动集群

当前机器的配置为master、slave01、slave02，master和slave01为NameNode

1. 启动zookeeper集群

2. 启动journalnode集群
   hadoop-daemons.sh start journalnode

3. 格式化zkfc,让在zookeeper中生成ha节点
   hdfs zkfc -formatZK

4. 格式化hdfs
   hadoop namenode –format

5. 启动NameNode
   在master节点执行
   hadoop-daemon.sh start namenode

   把NameNode的数据同步到slave01上
   hdfs namenode –bootstrapStandby
   启动slave02上的namenode作为standby
   sbin/hadoop-daemon.sh start namenode

6. 启动启动datanode
   hadoop-daemons.sh start datanode

7. 启动yarn
   start-yarn.sh

8. 启动ZKFC
   hadoop-daemons.sh start zkfc

遇到的问题

• 主被切换失败

配置如下：

dfs.ha.fencing.methods
sshfence

fs.ha.fencing.methods参数解释:

系统在任何时候只有一个namenode节点处于active状态。在主备切换的时候，standby namenode会变成active状态，原来的active namenode就不能再处于active状态了，否则两个namenode同时处于active状态会有问题。所以在failover的时候要设置防止2个namenode都处于active状态的方法，可以是Java类或者脚本。

fencing的方法目前有两种，sshfence和shell

sshfence方法是指通过ssh登陆到active namenode节点杀掉namenode进程，所以你需要设置ssh无密码登陆，还要保证有杀掉namenode进程的权限。

启动后发现namenode日志：org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election

解决：
namenode节点执行：yum -y install psmisc

注意点

• Hadoop配置HA后，HBase集群配置的修改

  1. hbase-site.xml中，rootdir改为和hadoop的dfs.nameservices一样，
  2. hadoop的core-site.xml和hdfs-site.xml拷贝到hbase的conf下，然后重启hbase

• 同步主namenode数据到备namenode
  1.是一个新的HDFS集群，还要首先执行格式化命令"hdfs namenode -format"，紧接着启动本NameNode进程。

  2.存在一个已经格式化过的NameNode，并且已经启动了。那么应该把该NameNode的数据同步到另一个没有格式化的NameNode。在未格式化过的NameNode上执行命令"hdfs namenode -bootstrapStandby"。

  3.非HA集群转成HA集群，应该运行命令"hdfs namenode -initializeSharedEdits"，这会初始化JournalNode中的数据。