搭建Hadoop-HA + ZooKeeper环境

前提：搭建Hadoop-HA环境

node01	node02	node03	node04
NameNode01	NameNode02	NameNode03
	DataNode01	DataNode02	DataNode03
JournalNode01	JournalNode02	JournalNode03
	ZooKeeper01	ZooKeeper02	ZooKeeper03
ZooKeeperFailoverController01	ZooKeeperFailoverController02	ZooKeeperFailoverController03

1. 配置node01、node02、node03、node04上的Hadoop

在node01上修改/opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml：
vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml
添加：

  
    fs.defaultFS
    hdfs://automaticHACluster
  
  
    hadoop.tmp.dir
    /opt/hadoop/data/tmp/automatic_ha
  
  
    ha.zookeeper.quorum
    node02:2181,node03:2181,node04:2181
  

在node01上修改/opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml：
vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml
添加：

  
    dfs.replication
    2
  
  
    dfs.nameservices
    automaticHACluster
  
  
    dfs.ha.namenodes.automaticHACluster
    NN01,NN02,NN03
  
  
    dfs.namenode.rpc-address.automaticHACluster.NN01
    node01:8020
  
  
    dfs.namenode.rpc-address.automaticHACluster.NN02
    node02:8020
  
  
    dfs.namenode.rpc-address.automaticHACluster.NN03
    node03:8020
  
  
    dfs.namenode.shared.edits.dir
    qjournal://node01:8485;node02:8485;node03:8485/automaticHACluster
  
  
    dfs.client.failover.proxy.provider.automaticHACluster
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
  
    dfs.ha.fencing.methods
    sshfence
  
  
    dfs.ha.fencing.ssh.private-key-files
    /root/.ssh/id_rsa
  
  
    dfs.journalnode.edits.dir
    /opt/hadoop/data/tmp/automatic_ha
  
  
    dfs.ha.automatic-failover.enabled
    true
  

将node01上的/opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml、/opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml拷贝到node02、node03、node04：
scp /opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml node02:/opt/hadoop/hadoop-3.1.1/etc/hadoop/ && scp /opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml node03:/opt/hadoop/hadoop-3.1.1/etc/hadoop/ && scp /opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml node04:/opt/hadoop/hadoop-3.1.1/etc/hadoop/

2. 安装node02、node03、node04上的ZooKeeper

tar -zxvf zookeeper-3.4.9.tar.gz -C /opt/zookeeper/

3. 配置node02、node03、node04上的ZooKeeper

在node02上修改/opt/zookeeper/zookeeper-3.4.9/conf/zoo.cfg：
cp /opt/zookeeper/zookeeper-3.4.9/conf/zoo_sample.cfg /opt/zookeeper/zookeeper-3.4.9/conf/zoo.cfg
vim /opt/zookeeper/zookeeper-3.4.9/conf/zoo.cfg
修改：

dataDir=/opt/zookeeper/data/tmp

添加：

server.1=192.168.163.192:2881:3881
server.2=192.168.163.193:2881:3881
server.3=192.168.163.194:2881:3881

将node02上的/opt/zookeeper/zookeeper-3.4.9/conf/zoo.cfg拷贝到node03、node04：
scp /opt/zookeeper/zookeeper-3.4.9/conf/zoo.cfg node03:/opt/zookeeper/zookeeper-3.4.9/conf/ && scp /opt/zookeeper/zookeeper-3.4.9/conf/zoo.cfg node04:/opt/zookeeper/zookeeper-3.4.9/conf/
在node02上执行：
mkdir -p /opt/zookeeper/data/tmp && echo 1 > /opt/zookeeper/data/tmp/myid
在node03上执行：
mkdir -p /opt/zookeeper/data/tmp && echo 2 > /opt/zookeeper/data/tmp/myid
在node04上执行：
mkdir -p /opt/zookeeper/data/tmp && echo 3 > /opt/zookeeper/data/tmp/myid

4. 配置node01、node02、node03、node04上的环境变量

在node01上修改/etc/profile：
vim /etc/profile
添加：

export HDFS_ZKFC_USER=root

在node02上修改/etc/profile：
vim /etc/profile
添加：

export ZOOKEEPER_PREFIX=/opt/zookeeper/zookeeper-3.4.9
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export HDFS_ZKFC_USER=root

在node03上修改/etc/profile：
vim /etc/profile
添加：

export ZOOKEEPER_PREFIX=/opt/zookeeper/zookeeper-3.4.9
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export HDFS_ZKFC_USER=root

在node04上修改/etc/profile：
vim /etc/profile
添加：

export ZOOKEEPER_PREFIX=/opt/zookeeper/zookeeper-3.4.9
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

在node01、node02、node03、node04上运行：
. /etc/profile

5. 启动JournalNode

在node01、node02、node03上运行：
hdfs --daemon start journalnode

6. 格式化Hadoop

在node01上运行：
hdfs namenode -format

7. 启动NameNode

在node01上运行：
hdfs --daemon start namenode
在node02、node03上运行：
hdfs namenode -bootstrapStandby

8. 格式化ZooKeeper

在node1上执行：
hdfs zkfc -formatZK

9. 启动ZooKeeper

在node02、node03、node04上运行：
zkServer.sh start

10. 启动Hadoop

在node01/node02/node03/node04上运行：
start-dfs.sh

11. 查看进程

在node01、node02、node03、node04上运行：
jps

12. 访问网页

NameNode01：http://192.168.163.191:9870
NameNode02：http://192.168.163.192:9870
NameNode03：http://192.168.163.193:9870
DataNode01：http://192.168.163.192:9864
DataNode02：http://192.168.163.193:9864
DataNode03：http://192.168.163.194:9864