hadoop系列文档4-配置Yarn高可用HA

背景

之前有一篇高可用HDFS HA的配置文档,此文档类似上次,介绍如何配置高可用Yarn’s ResourceManager,在hadoop中默认只有一个ResourceManger,现在增加一个节点,类似我们的NameNode的active/stangdby状态。

 

参考文章

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

http://slaytanic.blog.51cto.com/2057708/1423227

 

 

架构设计

在一个典型的HA集群中,两台独立的机器被配置成ResourceManger。在任意时间,有且只允许以个活动的ResourceManger,另外一个备用。这个活动的ResourceManger对集群内所有的客户端的操作的负责,另一个备用的只是简单的扮演一个slave,维持足够的状态以便在必要的提供一个快速得故障转移。

手动切换:在自动恢复不可用时,管理员可用手动切换状态,或是从Active到Standby,或是从Standby到Active。

自动切换:基于Zookeeper,但是区别于HDFS的HA,2个节点间无需配置额外的ZFKC守护进程来同步数据。

 

 

 

如何配置Yarn(HA)

注意,在此之前,请先确保已经安装hadoop集群,已经安装zookeeper集群。

 

 

 

分配每个节点需要安装的服务:

 

在上述基础上,介绍关系配置信息

hadoop系列文档4-配置Yarn高可用HA_第1张图片

 

这是官网推荐的最简配置。下面我自己的配置

 

 hadoop系列文档4-配置Yarn高可用HA_第2张图片

 自己的配置

 hadoop系列文档4-配置Yarn高可用HA_第3张图片

hadoop系列文档4-配置Yarn高可用HA_第4张图片

如何启动

在这之前,先停掉正在运行的Hadoop集群。

Step1 正常启动hadoop集群

Step2 在另外配置的ResourceManger上启动服务

Yarn-daemon.sh start resourcemanger

启动之后观察状态如下

 hadoop系列文档4-配置Yarn高可用HA_第5张图片

 hadoop系列文档4-配置Yarn高可用HA_第6张图片

 

 

你也可以使用命令来观察状态。

 

$ yarn rmadmin-getServiceState rm1
 Active

 $ yarn rmadmin -getServiceState rm2
 standby



你可能感兴趣的:(hadoop)