HDFS的QJM方案

介绍

• Quorum Journal Manager（仲裁日志管理器），是Hadoop官方推荐的hdfs HA解决方案之一
• 使用zookeeper中ZKFC来实现主备切换
• 使用Journal Node（JN）集群来实现edits log的共享以达到数据同步的目的。

主备切换，脑裂问题解决—ZKFailoverController（zkfc）

ZK FAi咯verCON他蹂躏了人是一个zookeeper客户端。主要职责：

• 监视和管理namenode健康状态
  ZKFC通过命令监视namenode节点及机器的健康状态
• 维持和ZK集群联系
  如果本地namenode运行状况良好，并且ZKFC看到当前没有其他节点持有锁znode，它将自己尝试获取该锁。如果成功，则表明它“赢得了选举”，并负责运行故障转移以使其本地namenode处于active状态。如果极硬呦其他节点持有锁，zkfc选举失败，则会对该节点注册监听，等待下次选举。
  
  

主备切换，脑裂问题解决-- Fencing（隔离）机制

• 故障转移过程也就是俗称的主备角色切换的过程，切换过程中最怕的就是脑裂的发生。因此需要Fencing机制来避免，将先前的active节点隔离，然后将standby转换为active状态
• Hadoop公共库中对外提供了两种Fenc ing实现，分别是sshfence和shellfence（却省实现）
  sshfence是通过ssh登陆目标节点上，使用命令fuser将进程杀死（通过tcp端口号定位进程pid，该方法比ips命令更准确）
  shellfence是指执行一个用户事先定义的shel命令（脚本）完成隔离

主备数据状态同步问题解决

• Journal Node（JN）集群是轻量级分布式系统，主要用于高速读写数据，存储数据
• 通常使用2N+1台Journal Node存储共享Edits Log（编辑日志）。----底层类似zk德分布式一致性算法
• 任何修改操作在active NN上执行时，Journal Log进程同时也会记录edits log到至少半数以上的JN中，这时Standby NN检测到JN里面的同步log发生变化了会读取JN里面的edits log，然后重演操作记录同步到自己的目录镜像树里面

HA集群搭建

集群基础环境准备

HA集群规划

上传安装包，配置环境变量

HA集群初始化