【赵强老师】大数据主从结构的单点故障问题及解决方案

单点故障的出现原因

    首先通过一段视频了解大数据分布式架构组件的架构及其单点故障问题。

【赵强老师】大数据主从结构的单点故障问题及解决方案

 

单点故障的解决方案

既然只有一个主节点就会发生单点故障，那么我们很容易可以想到，我来两个不就行了！对的，HA的思想就是多弄几个主节点，一个死了另一个上。但这样也不够啊！必须有个东西能够使得发生故障的时候自动切换啊！这东西就是Zookeeper。所以有了下面这张图：

Zookeeper在HA架构中的作用

Zookeeper是一个开源的分布式协调服务，分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

ZK在Hadoop生态圈中的主要功能有：

1. 选举功能，比如HDFS中Active NameNode的选举、YARN中Active ResourceManager的选举和HBase中Active HMaster的选举

2. ZooKeeper具有在各个节点同步数据的功能，能保证高度的一致性，因此它能够保证在任何时候只有一个节点为Active。

3. ZooKeeper分布式协调/通知功能，可用于心跳检测，不同进程之间需要检测到彼此是否在正常运行。基本原理是创建一个临时znode，如果连接超时就删除这个节点，不同的进程直接可以根据这个临时子节点来判断对应的进程是否存活