这篇文章重现了我自己用七台centos6.7mnimal虚拟机搭建一个ha hadoop集群的过程。（之前配置虚拟机和搭建hadoop集群的文章：虚拟机的配置和Hadoop集群的配置）
环境准备
从以前安装的虚拟机克隆7台（已经装好jdk，hadoop）。
-
vi /etc/udev/rules.d/70-persistent-net.rules(把eth1改为eth0，删除eth0所在行) -
vi /etc/sysconfig/network（修改主机名） -
vi /etc/sysconfig/network-scripts/ifcfg-eth0（配置ip） -
service iptables status（确认防火墙关闭） reboot-
vi /etc/hosts配置hosts - ssh免密登陆配置（
ssh-keygen,ssh-copy-id xxx） - 确定安装好jdk，配置好环境变量
集群规划
| 主机名 | IP | 安装的软件 | 运行的进程 |
|---|---|---|---|
| ha1 | 192.168.23.205 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| ha2 | 192.168.23.206 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| ha3 | 192.168.23.207 | jdk、hadoop | ResourceManager |
| ha4 | 192.168.23.208 | jdk、hadoop | ResourceManager |
| ha5 | 192.168.23.209 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| ha6 | 192.168.23.210 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| ha7 | 192.168.23.211 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
- 这里有两个NameNode，一个处于active状态，一个处于standby状态。ActiveNamenode对外提供服务，而StandbyNamenode则不对外提供服务，仅同步active namenode的状态，以便在故障时快速进行切换。hadoop2.0提供了两种HDFS HA的解决方案，NFS和QJM，这里我们使用QJM。在该方案中两个namenode间通过JournalNode同步元数据信息，一条数据只要写入JournalNode即认为写入成功。通常配置奇数个JournalNode，依靠zookeeper来协调。这里还配置了一个zookeeper集群，用于ZKFC故障转移。ResourceManager也是有一个Active，一个Standby，状态由zookeeper进行协调。
安装
zookeeper集群和简单的hadoop集群搭建前面已经介绍过
关于zookeeper：配置的要点是zoo.cfg（配置dataDir，server）和myid（在dataDir中），然后拷贝分发到奇数个节点（加上这个）上（mkdir datadir，修改myid）。
关于hadoop，添加环境变量，然后配置$HADOOP_HOME/etc/hadoop下的文件：
- hadoop-env.sh
export JAVA_HOME=/apps/jdk1.7.0_45 - core-site.xml
fs.defaultFS
hdfs://bigdata/
hadoop.tmp.dir
/home/hadoop/hdpdata/
ha.zookeeper.quorum
ha5:2181,ha6:2181,ha7:2181
- hdfs-site.xml
dfs.nameservices
bigdata
dfs.ha.namenodes.bigdata
nn1,nn2
dfs.namenode.rpc-address.bigdata.nn1
ha1:9000
dfs.namenode.http-address.bigdata.nn1
ha1:50070
dfs.namenode.rpc-address.bigdata.nn2
ha2:9000
dfs.namenode.http-address.bigdata.nn2
ha2:50070
dfs.namenode.shared.edits.dir
qjournal://ha5:8485;ha6:8485;ha7:8485/bigdata
dfs.journalnode.edits.dir
/home/hadoop/journaldata
dfs.ha.automatic-failover.enabled
true
dfs.client.failover.proxy.provider.bigdata
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
shell(/bin/true)
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa
dfs.ha.fencing.ssh.connect-timeout
30000
- mapred-site.xml
mapreduce.framework.name
yarn
- yarn-site.xml
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
yrc
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
ha3
yarn.resourcemanager.hostname.rm2
ha4
yarn.resourcemanager.zk-address
ha5:2181,ha6:2181,ha7:2181
yarn.nodemanager.aux-services
mapreduce_shuffle
- slaves（datanode，nodemanager的主机）
ha5
ha6
ha7
- 配置文件改好后，将hadoop拷贝到其他节点
scp -r /hadoop ha2:/
……
启动（按照顺序）
- 启动zookeeper集群
cd /hadoop/apps/zookeeper-3.4.5/bin/
./zkServer.sh start
./zkServer.sh status
- 启动JournalNode
cd /hadoop/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode
- 格式化hdfs
hdfs namenode -format
然后拷到另一个namenode下
scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.6.4/
（hdfs namenode -bootstrapStandby）
生成了hdpdata的数据
- 格式化zkfc（在ha1上执行一次即可）
hdfs zkfc -formatZK
可以/zookeeper/bin/zkCli.sh连上去查看
- 启动hdfs
start-dfs.sh
- 启动yarn
start-yarn.sh
启动hdfs的过程
启动yarn的过程
启动yarn时还需要手动起ha4主机上的resourcemanager（可能那个脚本没写好）：
yarn-daemon.sh start resourcemanager
高可用的hadoop集群在这里配置完毕！
ha解决了hadoop 1namenode的单点故障问题，federation解决了扩容问题，namenode容量可以水平拓展。