hadoop系列文档4-配置Yarn高可用HA

背景

之前有一篇高可用HDFS HA的配置文档，此文档类似上次，介绍如何配置高可用Yarn’s ResourceManager,在hadoop中默认只有一个ResourceManger,现在增加一个节点，类似我们的NameNode的active/stangdby状态。

 

参考文章

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

http://slaytanic.blog.51cto.com/2057708/1423227

 

 

架构设计

在一个典型的HA集群中，两台独立的机器被配置成ResourceManger。在任意时间，有且只允许以个活动的ResourceManger,另外一个备用。这个活动的ResourceManger对集群内所有的客户端的操作的负责，另一个备用的只是简单的扮演一个slave，维持足够的状态以便在必要的提供一个快速得故障转移。

手动切换：在自动恢复不可用时，管理员可用手动切换状态，或是从Active到Standby,或是从Standby到Active。

自动切换：基于Zookeeper，但是区别于HDFS的HA，2个节点间无需配置额外的ZFKC守护进程来同步数据。

 

 

 

如何配置Yarn(HA)

注意，在此之前，请先确保已经安装hadoop集群，已经安装zookeeper集群。

 

 

 

分配每个节点需要安装的服务：

 

在上述基础上，介绍关系配置信息

 

这是官网推荐的最简配置。下面我自己的配置

 

 

 自己的配置

 

如何启动

在这之前，先停掉正在运行的Hadoop集群。

Step1 正常启动hadoop集群

Step2 在另外配置的ResourceManger上启动服务

Yarn-daemon.sh start resourcemanger

启动之后观察状态如下

 

 

 

 

你也可以使用命令来观察状态。

 

$ yarn rmadmin-getServiceState rm1
 Active

 $ yarn rmadmin -getServiceState rm2
 standby