搭建Hadoop高可用集群

掌握了 Hadoop 中的高可用架构后，搭建一个Hadoop高可用集群，具体步骤如下：

1.部署集群节点

规划整个集群由3台虚拟机组成，这3台虚拟机在高可用集群中的部署规划情况如表所示。

其中，3个服务器组成了一个Zookeeper集群，其中hadoop01和hadoop02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。Journal Node是数据共享节点，三台组成共享存储系统。

2.环境准备

首先，在原来集群的基础上（hdfs\mapreduce\zookeeper都正常启动），三台linux主机都卸载hadoop，然后在hadoop01上重新安装hadoop-2.7.4。(实在不想重装的，先把hadoop-2.7.4目录下etc/hadoop/里配置的六个文件拷贝出来。然后删除hadoop-2.7.4目录下的tmp和logs目录，以便重新配置格式化。)

备注：建议大家先将hadoop的安装目录中etc/hadoop/下的配置文件拷贝出来，再删除hadoop-2.7.4的安装目录以卸载hadoop，然后重装一下hadoop。
目的1：熟悉软件安装步骤及集群搭建步骤；
目的2：搭建集群需要格式化，重新装一遍避免多次格式化导致cluster-id冲突；
目的3：后面讲Hive还可用原来的配置信息（自主选择），如果用高级集群（hadoop ha）配置，启动的服务太多了，配置也多，太费空间，太费内存。。。。

3.配置Hadoop高可用集群

默认已经完成上一步hadoop的重装。

(1)修改hadoop-env. Sh，配置JDK环境变量。
export JAVA_HOME=/export/servers/jdk
(2)修改core-site.xml文件，在该文件中配置HDFS端口，指定Hadoop临时目录和Zookeeper集群地址，具体参数如下:

（3） 修改hdfs-site. xml文件，配置两台NameNode端口地址和通信方式，并指定
NameNode的元数据上的存放位置，开启NameNode失败自动切换以及配置Sshfence（通过
ssh远程登录到前一个Active NameNode并将其结束进程），具体参数如下：

（4） 修改mapred-site. xml文件，配置MapReduce计算框架为YARN方式。

（5） 修改 yarn-site.xml 文件，开启 ResourccManager 高可用，指定 ResourceManager
的端口名称地址，并配置Zookeeper集群地址。

（6） 修改slaves，配置集群主机名称。删除localhost，添加一下三台主机名。

再将配置好的文件分发传送给hadoop02和hadoop03中。
scp -r /export/servers/hadoop-2.7.4/ hadoop02:/export/servers/
scp -r /export/servers/hadoop-2.7.4/ hadoop03:/export/servers/
并配置/etc/profile确保正确, 然后分发并source /etc/profile生效。

4.启动Hadoop高可用集群

（1）启动集群各个节点的Zookeeper服务，命令如下:
cd /export/servers/zookeeper-3.4.10/bin
./zkServer.sh start
（2）启动集群各个节点监控NameNodc的管理日志的JournalNode。
hadoop-daemon.sh start journalnode
（3）在hadoop01节点格式化NameNode，并将格式化后的目录复制到hadoop02中。
hadoop namenode -format
scp -r /export/data/hadoop hadoop02:/export/data/

（4）在hadoop01节点上格式化ZKFC。(zookeeper failure controllor)
hdfs zkfc -formatZK

（5）在hadoop01节点上启动HDFS。
start-dfs.sh
以hadoop01为例，如图所示。其余自行查看。

（6）在hadoop01节点上启动YARN。
start-yarn.sh
以hadoop01为例，如图所示。其余自行查看。

注意：1. 如果在格式化时出现问题，可到hadoop-2.7.4/logs下查找错误。
2.如果需要重新格式化，可选择两种方式。（1）删除hadoop，再重装；（2）三台设备删除配置后产生的一系列文件，比如tmp、/export/data/hadoop/、logs/等，再重新配置，重新格式化。