Hadoop HA架构剖析

Hadoop HA架构即 Hadoop 高可用架构,7*24小时不中断服务。实现高可用最关键的是消除单点故障。Hadoop HA 严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
 

 

HDFS HA

NameNode与命名空间

HDFS是通过双namenode消除单点故障(实时的,任何时刻只有1台active对外,另外一台是standby 实时备份随时准备着从standby切换active状态,对外服务)。
而两个NameNode之间的切换实际上是无感知的,这就需要命名空间(命名空间并不是进程)。两个NameNode机器是挂在命名空间下的,这是在core-site.xml和hdfs-site.xml下配置的。
命名空间轮询两台机器,如果是standby,换另一台。Hadoop HA架构剖析_第1张图片

Zookeeper

ZK集群是用来做选举的,在HDFS HA架构中用来确定哪个NameNode做active,哪个做standby。
ZK集群部署的时候都是2n+1台机器,因为做选举需要奇数台机器。20台节点:部署5台zk;20~100台:部署7/9/11。
但是:不是说ZK节点越多越好,ZK节点越多,选举的过程比较慢,对外提供的服务越慢 。
几百台节点, zk部署的机器上就它一个进程,别的进程会消耗资源(包括内存,cpu,文件数,进程数)。zk是最底层的,他是掌握命门的。如果ZK节点繁忙,standby切换不到active,就无法为外面提供服务。

ZKFC

全称为zookeeperfailovercontrol,在HDFS中为进程。
一般与NN节点放在同一台机器。
用于监控NN监控健康状态
向zk集群定期发送心跳,使得自己可以被选举;
当自己被zk选举为active的时候,zkfc进程通过RPC协议调用使NN节点的状态变为active,并对外提供实时服务,这个切换的过程是无感知的。

JounalNode

用于active nn 和standby nn节点的同步数据
由于在两个NameNode节点的内存中各自保存一份元数据,而整个系统的Edits日志只能有一份,只有Active状态的namenode节点可以做写操作
两个namenode都可以读取edits
共享的edits放在一个共享存储中管理,JN集群。

HDFS HA工作流程图及说明

当一个请求过来的时候,client先到nameservice,
通过nameservice可以找到active NameNode,到底是读还是写,告诉active NameNode
读写的记录传给jounalnode集群,再传给stand by NameNode,进行一个重演的过程。
DN会同时向NN1 NN2发送心跳及块报告
Hadoop HA架构剖析_第2张图片

注意点

HA是为了解决单点问题
通过JN集群共享状态
通过ZKFC选举active
监控状态,自动备援。
HDFS上 zkfc 是单独的进程,Yarn上的zkfc 为线程
DN: 同时向NN1 NN2发送心跳和块报告。
ACTIVE NN: 操作记录写到自己的editlog,同时写JN集群
并且接收DN的心跳和块报告
STANDBY NN: 同时接收JN集群的日志,显示读取执行log操作(重演),使得自己的元数据和active nn节点保持一致。
也接收DN的心跳和块报告

YARN HA



作业的运行状态以及请求的记录都存储在RMStateStore中。
RMStateStore:
存储在zk的/rmstore目录下。
1.active RM会向这个目录写APP信息
2.当active RM挂了,另外一个standby RM通过
ZKFC选举成功为active,会从/rmstore读取相应的作业信息。
重新构建作业的内存信息,启动内部的服务,
开始接收NM的心跳,构建集群的资源信息,并且接收客户端的作业提交请求。

RM:
ZKFC为RM中的一个线程
1.启动时候会向ZK的/rmstore目录写lock文件,写成功就为active,否则standby.
rm节点的zkfc线程会一直监控这个lock文件是否存在,假如存在,就为active,否则为standby.
2.接收client的请求,接收和监控NM的资源状况的汇报,负载资源的分配和调度。
3.启动和监控APPMASTER on NM节点的container。
applicationsmanager RM
applicationmaster NM container容器里 作业的主程序

NM:
节点资源的管理 启动容器运行task计算 上报资源

注意点

ZKFC在 YARN HA上为线程
/rmstore 是在 ZK节点上的

你可能感兴趣的:(大数据,java,python)