CDH集群高可用配置方法

一、高可用（HA）介绍

CDH高可用主要是HDFS和YARN，在保证hdfs数据不丢失的情况下，即使有节点宕机，重启即可也不会有影响。
HDFS 1.0中虽然存在一个第二名称节点（Secondary NameNode），但第二名称节点无法提供“热备份”功能，一旦名称节点发生故障，系统需要停机恢复。HDFS 2.0 采用HA(High Availability)架构,解决了NameNode 单点故障的问题。HA特性通过热备份的方式为主 NameNode 提供个备用，一旦主 NameNode 出现故障，可以迅速切换至备用 NameNode，从而实现不间断对外提供服务。

典型的 HDFS HA 架构如上图所示，它通常由两个 Nam Node 组成：一个处于 Active状态，另一个处于 Standby 状态。Active NameNode 对外提供服务，比如处理来自客户端的请求，Standby NameNode 则不对外提供服务，仅同步 Active NameNode 的状态，以便能够在它失败时快速进行切换。

1.原理

HA 中的两个 NameNode 属于同一个命名空间，两个 NameNode为了能够实时同步元数据信息（实际上是共享 EditLog），会通过一组JoumalNodes独立进程通信。每个 Journal 暴露－个简单的 RPC 接口，允许 NameNode 读取和写入数据，数据存放在Journal 节点的本地磁盘。当Active NameNode 写入 EditLog 时，它向集群的所有 JoumalNode 发送写入请求，当多数节点回复确认成功写入之后， EditLog 就认为是成功写入。
　　Standby NameNode 负责监听， 一旦发现有新数据写入，就读取这些数据，并加载到自己内存中，以保证自己内存状态与 Active NameNode 保持基本一致。
　Hadoop 使用 ZooKeeper 支持自动故障转移， ZooKeeper 的任务包括 NameNode 失败检测和NameNode 选举。

2. 集群的配置

(1) NameNode机器： 运行 Active NameNode和 Standby NameNode 的机器配置应保持一样。
(2) 当 Active 状态的 NameNode 宕机后，需要手动切换Standby 状态的 NameNode 来继提供服务。如果要实现自动故障转移，必须依赖 ZooKeeper。
(3) JournalNode 机器：这些守护进程比较轻量级，可以部署在其他服务器上。至少需要部署 3个JoumalNode 节点， 便容忍一个节点故障。通常配置成奇数。
(4) 配置NameNode HA后，客户端可以通过HA的逻辑名称去访问数据，而不用指定某一台NameNode，当某一台 NameNode 失效自动切换后，客户端不必更改 HDFS的连接地址 ，仍通过逻辑名称去访问。
需要注意的是， Standby NameNode 同时完成了原来 SecondaryNameNode checkpoint （检查点）功能，因此不需要再独立部署 SecondaryNameNode。

二、HDFS HA

1.进入HDFS -> 操作 -> 启用High Availability。

点击HDFS的操作按钮，启用HDFS的高可用

自定义HDFS集群的名称

选择NameNode节点

.添加JournalNode的主机

指定journalNode数据的存储目录

启用 HDFS的高可用模式

高可用启用完成


查看HDFS的WebUI

访问NameNode的WebUI

【注】禁用HDFS的HA模式

2.Hive 设置

三、YARN HA

方式一：可以跟HDFS一样添加HA，

方式二：如果HDFS已经启用HA，那更简单，添加一个ResourceManager，重启即可，CDH会自动部署高可用。

重启

四、Hive HA

同YARN。添加MataStore Server和HiveServer2，重启自动部署。

重启hive