HDP2.6 Hadoop Namenode HA 设置

Hadoop NameNode HA

Hadoop NameNode HA 模式下有两个 NameNode, 其中 active NameNode 提供 HDFS 服务, standby NameNode 作为备节点在 active NameNode 宕机后变更状态为 active, 从而避免 NameNode 的单点问题. 某次被误删 NameNode 文件系统之后, 决定配置 Hadoop HA, 让集群自动应对运维失误或恶意攻击,或者简单的宕机.

配置

ambari

ambari 下注意所有服务关闭 maintenance 状态.

官方参考文档

问题

Hue

设置完 HA 之后 hue 启动失败,报 [ERROR] "httpfs-site" not found in server response
貌似是 ambari 的 webhdfs 相关的配置没了.

解决方式

安装 LesTR 的 ambari-httpfs-service 组件

1. 把 HTTPFS 放到 /var/lib/ambari-server/resources/stacks/HDP/2.6/services 下.
2. ambari-server restart
3. 添加 HTTPFS 服务, 参考 https://github.com/EsharEditor/ambari-hue-service/issues/23 配置 hue proxy
4. 启动 HTTPFS.

ambari 中修改 hue 配置页, 设置

webhdfs_url=http://$HTTPFS_IP:$HTTPFS_PORT/webhdfs/v1

重启 hue

DONE