Hadoop高可用集群搭建（HA）
Hadoop高可用集群搭建（HA）
- 1. 环境介绍
- 1.1 版本说明
- 1.2 集群规划
- 1.3 HA说明
- 2. HA集群安装配置
- 2.1 搭建Hadoop前期工作
- 2.2 搭建zookeeper
- 2.2.1 解压zookeeper
- 2.2.2修改配置
- 2.2.3 拷贝zookeeper到其他节点
- 2.3 安装配置Hadoop集群（在mini01上操作）
- 2.3.1 解压Hadoop
- 2.3.2 配置环境变量
- 2.3.3 修改hadoo-env.sh
- 2.3.4 修改core-site.xml
- 2.3.5 修改hdfs-site.xml
- 2.3.6 修改mapred-site.xml
- 2.3.7 修改yarn-site.xml
- 2.3.8 修改slaves
- 2.3.9 将配置好的hadoop拷贝到其他节点
- 2.4 首次启动集群（Hadoop-HA）
- 2.4.1 启动zookeeper集群（分别在mini5、mini6、mini7上启动zk）
- 2.4.2 启动journalnode（分别在在mini5、mini6、mini7上执行）
- 2.4.3 格式化HDFS
- 2.4.4 格式化ZKFC
- 2.4.5 启动HDFS
- 2.4.6 启动YARN
- 2.4.7 验证
- 2.4 再次启动
1. 环境介绍
1.1 版本说明
- hadoop版本是2.7.3
- zookeeper使用的是3.4.5
- jdk使用的是jdk1.8
1.2 集群规划
| 主机名 | IP | 安装的软件 | 运行的进程 |
|---|---|---|---|
| mini1 | 192.168.1.200 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| mini2 | 192.168.1.201 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| mini3 | 192.168.1.202 | jdk、hadoop | ResourceManager |
| mini4 | 192.168.1.203 | jdk、hadoop | ResourceManager |
| mini5 | 192.168.1.205 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| mini6 | 192.168.1.206 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| mini7 | 192.168.1.207 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
1.3 HA说明
- 在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
- HA中没有secendarynamenode，secendarynamenode的工作由Standby NameNode所完成。
- hadoop2.x官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode.
- 这里还配置了一个zookeeper集群，用ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。
- hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6.4解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。
2. HA集群安装配置
2.1 搭建Hadoop前期工作
- 修改Linux主机名
- 修改IP
- 修改主机名和IP的映射关系 /etc/hosts
注意:如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系 - 关闭防火墙
- ssh免登陆
- 安装JDK，配置环境变量等
2.2 搭建zookeeper
2.2.1 解压zookeeper
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
2.2.2修改配置
将zoo_sample.cfg文件重命名为zoo.cfg
cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
修改zoo.cfg文件
vi zoo.cfg
#修改：
dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp
#在最后添加：
server.1=mini05:2888:3888
server.2=mini06:2888:3888
server.3=mini07:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/app/zookeeper-3.4.5/tmp
echo 1 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
2.2.3 拷贝zookeeper到其他节点
将配置好的zookeeper拷贝到其他节点(首先分别在mini06、mini07根目录下创建一个hadoop目录：mkdir /hadoop)
分别拷贝到mini06、mini07 ：
scp -r /home/hadoop/app/zookeeper-3.4.5/ mini06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ mini07:/home/hadoop/app/
注意：修改mini06、mini07对应/hadoop/zookeeper-3.4.5/tmp/myid内容.
mini06：
echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
mini07:
echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
2.3 安装配置Hadoop集群（在mini01上操作）
2.3.1 解压Hadoop
tar -zxvf hadoop-2.7.3.tar.gz -C /home/hadoop/app/
2.3.2 配置环境变量
将hadoop添加到环境变量中
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_102
export HADOOP_HOME=/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.3.3 修改hadoo-env.sh
hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下,所以需要先进入/home/hadoop/app/hadoop-2.7.3/etc/hadoop目录，下面的文件修改就不在描述进入/home/hadoop/app/hadoop-2.7.3/etc/hadoop了
cd /home/hadoop/app/hadoop-2.7.3/etc/hadoop
然后修改hadoo-env.sh
主要修改使用的jdk
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_102
2.3.4 修改core-site.xml
注意这里面已经把HDFS访问路径抽象出来一个统一的访问接口了
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://bi/value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/home/hadoop/app/hdpdata/value>
property>
<property>
<name>ha.zookeeper.quorumname>
<value>mini5:2181,mini6:2181,mini7:2181value>
property>
configuration>
2.3.5 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.nameservicesname>
<value>bivalue>
property>
<property>
<name>dfs.ha.namenodes.biname>
<value>nn1,nn2value>
property>
<property>
<name>dfs.namenode.rpc-address.bi.nn1name>
<value>mini1:9000value>
property>
<property>
<name>dfs.namenode.http-address.bi.nn1name>
<value>mini1:50070value>
property>
<property>
<name>dfs.namenode.rpc-address.bi.nn2name>
<value>mini2:9000value>
property>
<property>
<name>dfs.namenode.http-address.bi.nn2name>
<value>mini2:50070value>
property>
<property>
<name>dfs.namenode.shared.edits.dirname>
<value>qjournal://mini5:8485;mini6:8485;mini7:8485/bivalue>
property>
<property>
<name>dfs.journalnode.edits.dirname>
<value>/home/hadoop/journaldatavalue>
property>
<property>
<name>dfs.ha.automatic-failover.enabledname>
<value>truevalue>
property>
<property>
<name>dfs.client.failover.proxy.provider.biname>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>
property>
<property>
<name>dfs.ha.fencing.methodsname>
<value>
sshfence
shell(/bin/true)
value>
property>
<property>
<name>dfs.ha.fencing.ssh.private-key-filesname>
<value>/home/hadoop/.ssh/id_rsavalue>
property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeoutname>
<value>30000value>
property>
configuration>
2.3.6 修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
2.3.7 修改yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.ha.enabledname>
<value>truevalue>
property>
<property>
<name>yarn.resourcemanager.cluster-idname>
<value>yrcvalue>
property>
<property>
<name>yarn.resourcemanager.ha.rm-idsname>
<value>rm1,rm2value>
property>
<property>
<name>yarn.resourcemanager.hostname.rm1name>
<value>mini3value>
property>
<property>
<name>yarn.resourcemanager.hostname.rm2name>
<value>mini4value>
property>
<property>
<name>yarn.resourcemanager.zk-addressname>
<value>mini5:2181,mini6:2181,mini7:2181value>
property>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
configuration>
2.3.8 修改slaves
- slaves是指定子节点的位置，因为要在hadoop01上启动HDFS、在hadoop03启动yarn，所以hadoop01上的slaves文件指定的是datanode的位置，hadoop03上的slaves文件指定的是nodemanager的位置。
mini5
mini6
mini7
2.3.9 将配置好的hadoop拷贝到其他节点
scp -r /hadoop/ mini02:/
scp -r /hadoop/ mini03:/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini04:/hadoop/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini05:/hadoop/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini06:/hadoop/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini07:/hadoop/
2.4 首次启动集群（Hadoop-HA）
首次启动严格按照以下顺序启动，应为需要格式化集群
2.4.1 启动zookeeper集群（分别在mini5、mini6、mini7上启动zk）
启动zookeeper
cd /hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start
查看启动状态，一个leader，两个follower
./zkServer.sh status
2.4.2 启动journalnode（分别在在mini5、mini6、mini7上执行）
执行
cd /hadoop/hadoop-2.7.3
sbin/hadoop-daemon.sh start journalnode
运行jps命令检验，mini05、mini06、mini07上多了JournalNode进程就是ok的了
2.4.3 格式化HDFS
在mini1上执行命令:
hdfs namenode -format
格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.7.3/tmp，然后将/hadoop/hadoop-2.7.3/tmp拷贝到mini02的/hadoop/hadoop-2.7.3/下。
拷贝数据可以使用命令：
scp -r tmp/ mini02:/home/hadoop/app/hadoop-2.7.3/
也可以使用以下命令进行数据拷贝：
hdfs namenode -bootstrapStandby
2.4.4 格式化ZKFC
在mini1上执行一次即可
hdfs zkfc -formatZK
2.4.5 启动HDFS
在mini01上执行
sbin/start-dfs.sh
2.4.6 启动YARN
mini02上执行
sbin/start-yarn.sh
2.4.7 验证
到此hadoop的配置已经配置完毕，可以进行HA验证，进行浏览器访问：
- http://hadoop00:50070
出现一个active NameNode ‘mini01:9000’ (active) - http://mini01:50070
出现一个standby NameNode ‘mini02:9000’ (standby)
同时也可以进行单个节点进行杀死，看namenode，resoucemaneger是否会进行切换。
2.4 再次启动
集群再次启动就不要那么繁琐了，只需要一次启动
- 启动zookeeper(zkServer.sh start)
- 启动HDFS(start-dfs.sh)
- 启动YARN(start-yarn.sh)
本文由鹏鹏出品
更多文章请访问韩利鹏的博客