hadoop HA机制
HADOOP HA机制
文章目录
- HADOOP HA机制
- 回顾：
- 今天任务
- 教学目标
- 第一节：HADOOP HA概述
- 1.1 背景
- 1.2 HA(High Available)概念
- 第二节 HA集群配置
- 2.1 基础配置
- 2.2 hadoop配置
- 2.3 HA 启动及测试
回顾：
今天任务
1.什么是HA
2.HA的实现场景
3.配置HA环境
教学目标
1.理解HA的机制
2.掌握HA环境的配置流程
第一节：HADOOP HA概述
1.1 背景
在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性：
- 在计划外事件（例如机器崩溃）的情况下，直到操作员重新启动NameNode后，群集才可用。
- 计划的维护事件（如NameNode计算机上的软件或硬件升级）将导致群集停机时间窗口。
HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个（以及3.0.0多于两个）冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNode，或者为计划维护目的而进行正常的管理员启动的故障转移。
1.2 HA(High Available)概念
-
hadoop-HA集群运作机制介绍
所谓HA，即高可用（7*24小时不中断服务）(secondarynamenode只是保证了“可靠性”)实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。
-
HDFS的HA机制详解
通过双namenode消除单点故障，双namenode协调工作的要点：
- 元数据管理方式需要改变
- 需要一个状态管理功能模块
第二节 HA集群配置
2.1 基础配置
-
创建7台机器，设置静态ip分别如下：
| 机器名 | ip | | ----------------------------- | -------------- | | CentOs6.4_min_java_hadoop_ha1 | 192.168.18.171 | | CentOs6.4_min_java_hadoop_ha2 | 192.168.18.172 | | CentOs6.4_min_java_hadoop_ha3 | 192.168.18.173 | | CentOs6.4_min_java_hadoop_ha4 | 192.168.18.174 | | CentOs6.4_min_java_hadoop_ha5 | 192.168.18.175 | | CentOs6.4_min_java_hadoop_ha6 | 192.168.18.176 | | CentOs6.4_min_java_hadoop_ha7 | 192.168.18.177 | -
设置每台机器的hostname
vi /etc/sysconfig/network #编辑network文件，修改内容如下 NETWORKING=yes HOSTNAME=ha1 #分别在7台机器上执行上述命令，使得各台机器的hostname对应关系如下： | 机器名 | hostname | | ----------------------------- | -------- | | CentOs6.4_min_java_hadoop_ha1 | ha1 | | CentOs6.4_min_java_hadoop_ha2 | ha2 | | CentOs6.4_min_java_hadoop_ha3 | ha3 | | CentOs6.4_min_java_hadoop_ha4 | ha4 | | CentOs6.4_min_java_hadoop_ha5 | ha5 | | CentOs6.4_min_java_hadoop_ha6 | ha6 | | CentOs6.4_min_java_hadoop_ha7 | ha7 | -
修改各个机器的主机名和ip的映射（修改每台机器的hosts文件）
vi /etc/hosts #为hosts文件添加如下内容 192.168.18.171 ha1 192.168.18.172 ha2 192.168.18.173 ha3 192.168.18.174 ha4 192.168.18.175 ha5 192.168.18.176 ha6 192.168.18.177 ha7 -
为每台机器创建一个名为hadoop的用户
useradd hadoop #添加hadoop用户 passwd hadoop #给hadoop用户 设置密码 -
为每台机器的hadoop用户配置sudo权限
vi /etc/sudoers #使用root用户编辑 添加如下内容： hadoop ALL=(ALL) ALL -
关闭每台机器的防火墙
#查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off -
每台机器安装JDK
#创建文件夹 mkdir /home/hadoop/develop_env #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/develop_env
vim /etc/profile #将java添加到环境变量中在文件最后添加
export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
2.2 hadoop配置
- 集群规划
| 主机名 | 安装的软件 | 运行的进程 |
|---|---|---|
| ha1 | hadoop | NameNode、DFSZKFailoverController(zkfc) |
| ha2 | hadoop | NameNode、DFSZKFailoverController(zkfc) |
| Ha3 | hadoop | ResourceManager |
| Ha4 | hadoop | ResourceManager |
| Ha5 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| Ha6 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| Ha7 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态（激活状态），另一个处于standby状态（后备状态）。ActiveNameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode（jounal 日志）同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当ActiveNameNode挂掉了，会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
-
安装步骤
-
安装配置zooekeeper集群（在ha5上）（更详细zookeeper安装步骤参见zookeeper安装）
1.1解压
#上传zookeeper-3.4.7.tar.gz到/home/hadoop/develop_env tar -zxvf zookeeper-3.4.7.tar.gz -C /home/hadoop/develop_env/1.2修改配置
cd /home/hadoop/develop_env/zookeeper-3.4.7/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg #修改：dataDir=/home/hadoop/develop_env/zookeeper-3.4.7/data #在最后添加： server.1=ha5:2888:3888 server.2=ha6:2888:3888 server.3=ha7:2888:3888 #然后创建一个data文件夹 mkdir /home/hadoop/develop_env/zookeeper-3.4.7/data echo 1 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid1.3将配置好的zookeeper拷贝到其他节点
scp-r /home/hadoop/develop_env/zookeeper-3.4.7/ ha6:/home/hadoop/develop_env/ scp-r /home/hadoop/develop_env/zookeeper-3.4.7/ ha7:/home/hadoop/develop_env/ #注意：修改ha6、ha7对应/hadoop/zookeeper-3.4.5/data/myid内容 #ha6： echo 2 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid #ha7： echo 3 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid
-
安装配置hadoop集群（在ha1上操作）
2.1解压
tar -zxvf hadoop-2.7.1.tar.gz2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中 vi /etc/profile export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65 export HADOOP_HOME=/home/hadoop/develop_env/hadoop-2.7.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin2.2.1修改hadoop-env.sh
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下 cd /home/hadoop/develop_env/hadoop-2.7.1/etc/hadoop vi hadoo-env.sh #添加如下语句 #export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_552.2.2修改core-site.xml
<configuration> <property> <name>fs.defaultFSname> <value>hdfs://ns1/value> property> <property> <name>hadoop.tmp.dirname> <value>/home/hadoop/develop_env/hadoop-2.7.1/datavalue> property> <property> <name>ha.zookeeper.quorumname> <value>ha5:2181,ha6:2181,ha7:2181value> property> configuration>2.2.3修改hdfs-site.xml
<configuration> <property> <name>dfs.nameservicesname> <value>ns1value> property> <property> <name>dfs.ha.namenodes.ns1name> <value>nn1,nn2value> property> <property> <name>dfs.namenode.rpc-address.ns1.nn1name> <value>ha1:9000value> property> <property> <name>dfs.namenode.http-address.ns1.nn1name> <value>ha1:50070value> property> <property> <name>dfs.namenode.rpc-address.ns1.nn2name> <value>ha2:9000value> property> <property> <name>dfs.namenode.http-address.ns1.nn2name> <value>ha2:50070value> property> <property> <name>dfs.namenode.shared.edits.dirname> <value>qjournal://ha5:8485;ha6:8485;ha7:8485/ns1value> property> <property> <name>dfs.journalnode.edits.dirname> <value>/home/hadoop/develop_env/hadoop-2.7.1/journaldatavalue> property> <property> <name>dfs.ha.automatic-failover.enabledname> <value>truevalue> property> <property> <name>dfs.client.failover.proxy.provider.ns1name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue> property> <property> <name>dfs.ha.fencing.methodsname> <value> sshfence shell(/bin/true) value> property> <property> <name>dfs.ha.fencing.ssh.private-key-filesname> <value>/home/hadoop/.ssh/id_rsavalue> property> <property> <name>dfs.ha.fencing.ssh.connect-timeoutname> <value>30000value> property> configuration>以上是配置的hdfs的高可用==========
2.2.4修改mapred-site.xml
<configuration> <property> <name>mapreduce.framework.namename> <value>yarnvalue> property> configuration>2.2.5修改yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.ha.enabledname> <value>truevalue> property> <property> <name>yarn.resourcemanager.cluster-idname> <value>yrcvalue> property> <property> <name>yarn.resourcemanager.ha.rm-idsname> <value>rm1,rm2value> property> <property> <name>yarn.resourcemanager.hostname.rm1name> <value>ha3value> property> <property> <name>yarn.resourcemanager.hostname.rm2name> <value>ha4value> property> <property> <name>yarn.resourcemanager.webapp.addresss.rm1name> <value>ha3:8088value> property> <property> <name>yarn.resourcemanager.webapp.addresss.rm2name> <value>ha4:8088value> property> <property> <name>yarn.resourcemanager.zk-addressname> <value>ha5:2181,ha6:2181,ha7:2181value> property> <property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property> configuration>2.2.6修改slaves(slaves是指定子节点的位置，因为要在ha1上启动HDFS、在ha3启动yarn，所以ha1上的slaves（做苦工的）文件指定的是datanode的位置，ha3上的slaves文件指定的是nodemanager的位置)
ha5
ha6
ha7
2.2.7配置免密码登陆
#首先要配置ha1到ha2、ha3、ha4、ha5、ha6、ha7的免密码登陆 #在ha1上生产一对钥匙 ssh-keygen -t rsa #将公钥拷贝到其他节点，包括自己 ssh-copy-id ha1 ssh-copy-id ha2 ssh-copy-id ha3 ssh-copy-id ha4 ssh-copy-id ha5 ssh-copy-id ha6 ssh-copy-id ha7 #配置ha3到ha4、ha5、ha6、ha7的免密码登陆 #在ha3上生产一对钥匙 ssh-keygen -t rsa #将公钥拷贝到其他节点,包括自己 ssh-copy-id ha3 ssh-copy-id ha4 ssh-copy-id ha5 ssh-copy-id ha6 ssh-copy-id ha7 #注意：两个namenode之间要配置ssh免密码登陆，别忘了配置ha2到ha1的免登陆 在ha2上生产一对钥匙 ssh-keygen -t rsa ssh-coyp-id -i ha1
2.2.8将配置好的hadoop拷贝到其他节点
scp -r /home/hadoop/develop_env/hadoop-2.7.1/ ha2:/home/hadoop/develop_env/ scp -r /home/hadoop/develop_env/hadoop-2.7.1/ ha3:/home/hadoop/develop_env/ scp -r /home/hadoop/develop_env/hadoop-2.7.1/ ha4:/home/hadoop/develop_env/ scp -r /home/hadoop/develop_env/hadoop-2.7.1/ ha5:/home/hadoop/develop_env/ scp -r /home/hadoop/develop_env/hadoop-2.7.1/ ha6:/home/hadoop/develop_env/ scp -r /home/hadoop/develop_env/hadoop-2.7.1/ ha7:/home/hadoop/develop_env/
-
2.3 HA 启动及测试
注意：严格按照下面的步骤进行启动
-
启动zookeeper集群（分别在ha5、ha6、ha7上启动zk）
cd /home/hadoop/develop_env/zookeeper-3.4.7/bin/ ./zkServer.sh start #查看状态：一个leader，两个follower ./zkServer.sh status -
启动journalnode（分别在在ha5、ha6、ha7上执行）
cd /home/hadoop/develop_env/hadoop-2.7.1 sbin/hadoop-daemon.sh start journalnode #运行jps命令检验，ha5、ha6、ha7上多了JournalNode进程 #一个命令启动多个journalNode进程 需要测试一下 sbin/hadoop-daemons.sh start journalnode -
格式化HDFS
#在ha1上执行命令: hdfs namenode -format #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/hadoop/develop_env/hadoop-2.7.1/data，然后将/home/hadoop/develop_env/hadoop-2.7.1/data拷贝到ha2的/home/hadoop/develop_env/hadoop-2.7.1/下。 scp -r /home/hadoop/develop_env/hadoop-2.7.1/data/* ha2:/home/hadoop/develop_env/hadoop-2.7.1/data ##也可以这样，在ha2上执行下面命令 hdfs namenode -bootstrapStandby -
格式化ZKFC(在ha1上执行即可)
hdfs zkfc -formatZK -
启动HDFS(在ha1上执行)
sbin/start-dfs.sh=以上是启动高可用hdfs需要的步骤==========
-
启动YARN在ha3上执行(#####注意#####：是在ha3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh #此命令只能启动ha3上的resourceManager #而在ha4上的resourceManager需要手动启动一下。 yarn-daemon.sh start resourcemanager #上述两个命令执行完毕后，yarn的ha就启动成功了。其中一个reasourceManager是active一个是standby到此，hadoop-2.7.1配置完毕，可以统计浏览器访问:http://192.168.18.171:50070>
NameNode’ha1:9000’ (active)
http://192.168.18.172:50070
NameNode’ha2:9000’ (standby)
http://192.168.18.173:8088/ 查看yarn集群信息类似
-
验证HDFSHA
#首先向hdfs上传一个文件 hadoopfs -put /etc/profile /profile hadoopfs -ls / #然后再kill掉active的NameNode kill -9 <pid of NN> #通过浏览器访问：http://192.168.18.172:50070 NameNode'ha2:9000' (active) #这个时候ha2上的NameNode变成了active #在执行命令： hadoopfs -ls #-rw-r--r--3 root supergroup 1926 2014-02-06 15:36 /profile -
上述启动HA的步骤是第一次时需要执行的步骤，下面是非第一次的启动的步骤：
-
启动zookeeper集群（分别在ha5、ha6、ha7上启动zk）
-
启动HDFS(在ha1上执行)
sbin/start-dfs.sh -
启动YARN在ha3上执行；ha4上的resourceManager需要手动启动
sbin/start-yarn.sh #手动启动那个挂掉的NameNode sbin/hadoop-daemon.sh start namenode #通过浏览器访问：http://192.168.18.171:50070 #NameNode'ha1:9000' (standby) #验证YARN： #运行一下hadoop提供的demo中的WordCount程序： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/output
-
-
测试集群工作状态的一些指令：
bin/hdfs dfsadmin -report #查看hdfs的各节点状态信息 bin/hdfs haadmin -getServiceState nn1 #获取一个namenode节点的HA状态 sbin/hadoop-daemon.sh start namenode #单独启动一个namenode进程 ./hadoop-daemon.sh start zkfc #单独启动一个zkfc进程