1.3.4.2自动Hadoop-HA（高性能模式）搭建

总目录:https://www.jianshu.com/p/e406a9bc93a9

Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd

前言

本文基于已经完成完全分布式配置的集群进行。

1.环境变量配置

2.ssh免密

3.java环境配置

4.其他常规配置（网络，时间同步，防火墙等等）

看之前文章。

参数列表

hadoop01:192.168.110.220:NN1,ZKFC,ZK,JNN

hadoop02:192.168.110.221:NN2,DN,JNN,ZKFC,ZK

hadoop03:192.168.110.222:DN,JNN,ZK

hadoop04:192.168.110.223:DN,JNN,ZKFC

zookeeper安装

https://www.jianshu.com/p/5b195fb27b86

核心文件配置

core-site.xml

 

    fs.defaultFS

    hdfs://myha

 

 

 

      hadoop.tmp.dir

      /usr/hdk/hadoopdata/tmp

 

 

 

    ha.zookeeper.quorum

    hadoop01:2181,hadoop02:2181,hadoop03:2181

 

hdfs-site.xml

  

      dfs.nameservices

      myha

  

  

      dfs.ha.namenodes.myha

      nn1,nn2

  

  

      dfs.namenode.rpc-address.myha.nn1

      hadoop01:8020

  

  

     dfs.namenode.rpc-address.myha.nn2

     hadoop02:8020

  

  

     dfs.namenode.http-address.myha.nn1

     hadoop01:50070

  

  

     dfs.namenode.http-address.myha.nn2

     hadoop02:50070

  

  

     dfs.namenode.shared.edits.dir

     qjournal://hadoop02:8485;hadoop03:8485;hadoop04:8485/myha

  

  

     dfs.client.failover.proxy.provider.lyx

     org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

  

  

     dfs.ha.fencing.methods

     sshfence

  

  

     dfs.ha.fencing.ssh.private-key-files

     /root/.ssh/id_rsa

  

  

     dfs.ha.automatic-failover.enabled

     true

  

  

     dfs.journalnode.edits.dir

     /usr/hdk/hadoopdata/data

  

  

     dfs.webhdfs.enabled

     true

  

  

     dfs.permissions.superusergroup

     staff

  

  

     dfs.permissions.enabled

     false

  

hadoop-env.sh

……

# The java implementation to use.

export JAVA_HOME=/usr/hdk/jdk

……

slaves

hadoop02

hadoop03

hadoop04

第一次启动

启动zookeeper集群

zkServer.sh start

和core-site.xml配置信息中

 

    ha.zookeeper.quorum

    hadoop01:2181,hadoop02:2181,hadoop03:2181

 

这几个节点启动zookeeper

启动journalnode

hadoop-daemons.sh start journalnode

四台都执行

启动NameNode

在hadoop01上

格式化NameNode

hdfs namenode -format

格式化ZKFC

hdfs zkfc -formatZK

（以上操作仅在第一次配置进行一次，之后不要进行）

启动NameNode

hadoop-daemon.sh start namenode

在hadoop02上

同步hadoop01上的信息

hdfs namenode -bootstrapStandby

启动NameNode

hadoop-daemon.sh start namenode

启动zkfc

hadoop-daemon.sh start zkfc

在你计划启动zkfc的节点启动

启动hdfs

在hadoop01执行

start-dfs.sh

之后启动

在hadoop01执行

start-dfs.sh

NameNode切换实例

先查看HDFS的web界面：

nn1

nn2

杀死hadoop01的NameNode

停止NameNode

这时的web界面

hadoop01无法访问

nn2变成active

之后启动hadoop01的NameNode

启动NameNode

nn1的状态变成了standby

nn2还是active