Hadoop_HA与联邦机制

大数据

HDFS存在的问题

​ •NameNode单点故障,难以应用于在线场景 HA

​ •NameNode压力过大,且内存受限,影扩展性 F

解决单点故障

​ •HDFS HA:通过主备NameNode解决

​ •如果主NameNode发生故障,则切换到备NameNode上

MapReduce存在的问题响系统

​ •JobTracker访问压力大,影响系统扩展性

​ •难以支持除MapReduce之外的计算框架,比如Spark、Storm等

解决内存受限问题

​ •HDFS Federation(联邦)

​ •水平扩展,支持多个NameNode;

​ •(2)每个NameNode分管一部分目录;

​ •(1)所有NameNode共享所有DataNode存储资源

HA模式

Hadoop_HA与联邦机制_第1张图片

当分配主从NN时,2个NN和2个zkfc同时去zk集群中争抢一个锁,由两个zkfc同时去

zk特征: 目录树的数据结构 事件 session

考虑2种情况

​ 主NN故障,由主zkfc删掉zk中的节点,此时再由zkfc回调当时zk节点中的注册方法,将从NN升级为主NN

–事件传导的过程

​ 主zkfc故障,与zk链接断开并由zk创建session,一定时间没有回来,由zk删掉节点,将原主NN降为从NN,将原从NN升为主NN

整合ZK-联邦机制

Hadoop_HA与联邦机制_第2张图片
HA配置过程(手动)

​ 1逻辑到物理的映射 NS到物理节点

​ 2 JN相关物理信息

​ 3 发生故障的切换方法和免秘钥的切换方法

你可能感兴趣的:(Hadoop,大数据)