CDH6.3配置HDFS高可用，多NameNode

概述

搭建HDFS的NameNode集群, 在单个NameNode宕机或繁忙时, 可以做故障转移和压力平摊; 配置的过程比较复杂, 网上的可查资料也很少

步骤

1. 停止运行中的所有hdfs角色, 并删除SecondaryNameNode

开启了高可用, 不需要SecondaryNameNode, 该角色并不具备故障转移的功能, 可以理解为一个备份点, 解读Secondary NameNode的功能 ;

在只有一个NameNode的情况下, 必须配置SecondaryNameNode; 但多个NameNode的时候, 如果没删除会报错校验不通过, 这里先忽略不理

2. 新增JournalNode,NameNode和Failover Controller

• JournalNode: 3个
• NameNode: 2个
• Failover Controller: 2个, 和NameNode所在机器要一一对应

3. 配置JournalNode编辑目录

4. 配置Nameservice, 新加的NameNode执行初始化

配置Nameservice

NameNode格式化

4. 配置Failover Controller

• 启用故障自动转移, 默认是关闭的

• 执行初始化自动故障转移 Znode

  
  
  
  

5. 重启Hdfs的所有角色

建议NameNode进行一次格式化, DataNode的数据目录进行清空, 生产环境慎重操作. 重启的时候DataNode放在最后执行, 确保所有的节点都是正常的, 通过Hadoop的UI可以查看准确的状态(9870端口); 如果在日志种出现如下报错, Block pool ID needed, but service not yet registered with NN
可尝试在每台DataNode将错误的文件删掉(/dfs/dn/current), 日志中有详细的打印, 删除之后节点状态恢复正常

确保所有DataNode状态正常

6. 验证

执行hdfs的增删改查命令做测试, 如cat,ls,put,mkdir等, 通过即为正常

报错收集和处理

1. NameNode启动失败, NameNode is not formatted(格式化后即可解决)

2. 新建的NameNode报错, Connection refused, Cannot find any valid remote NN to service request

3.启动Failover Controller报错

NameNode和Failover Controller所在的机器要一一对应, NameNode还要执行zkfc命令进行初始化, 在运行Controller要开启故障转移, 并要确保初始化Zk的命令

Automatic failover is not enabled for NameNode at cm.hadoop1/192.168.1.1:8022. Please ensure that automatic failover is enabled in the configuration before running the ZK failover controller

4.Name node is in safe mode

去NameNode的机器执行离开安全的操作

离开安全模式

5.It is not protected because it is world-writable

/var/run的权限过大, 把/var/run/hdfs-sockets目录删掉或重新授权

6. DataNode的报错

• could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.
  datanode无法启动Block pool ID needed, but service not yet registered with NN
  

  Yarn无法deploy

• Block pool ID needed, but service not yet registered with NN

  
  

7.HDFS service not configured for High Availability must have a SecondaryNameNode

在不开启高可用的时候, 必须配置SecondaryNameNode

参考文章

官方NameNode高可用配置说明
解读Secondary NameNode的功能
Cannot find any valid remote NN to service request