黑猴子的家:Hadoop HA 工作要点

黑猴子的家:Hadoop HA 工作要点_第1张图片
image.png

1、通过双NameNode消除单点故障

2、元数据管理方式需要改变:
(1)内存中各自保存一份元数据;
(2)Edits日志只有Active状态的NameNode节点可以做写操作;
(3)两个NameNode都可以读取edits;
(4)共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现);

3、需要一个状态管理功能模块
实现了一个zkfailover,常驻在每一个NameNode所在的节点,每一个zkfailover负责监控自己所在NameNode节点,利用zk进行状态标识,当需要进行状态切换时,由zkfailover来负责切换,切换时需要防止脑裂(brain split)现象的发生。

4、必须保证两个NameNode之间能够ssh免密登录。

5、隔离(Fence),即同一时刻仅仅有一个NameNode对外提供服务

你可能感兴趣的:(黑猴子的家:Hadoop HA 工作要点)