Hadoop集群主节点迁移

主要目的是实现异地容灾

主要迁移的服务有：
• namenode（journalnode zkfc）
• resourcemanager
• hiveserver2
• hive metastore
• hive元数据库mysql
• zookeeper
• freeipa server

namenode迁移

1. 先对现有的主从namenode进行一次主备切换
   a. 先重启从节点，再重启主节点，使其完成一次元数据同步；

2. 在节点上启用hdfs ranger插件

3. 迁移journalnode到新节点，只迁移namenode服务还是不够的，journalnode最好也有个异地的节点
   a. 同步元数据文件目录
   b. 修改hdfs-site.xml配置文件

4. 关停standby节点

5. 修改hdfs-site.xml配置文件；修改旧namenode为新namenode

6. 在standby节点上同步一次元数据
   hdfs namenode -bootstrapStandby

7. 启动namenode

8. 启动zkfc

9. 重启hdfs

Resourcemanager

1. 修改配置文件
   a. 修改旧节点为新节点；
2. 在新节点启用yarn ranger plugin
3. stop 旧的standby resourcemanager 节点
4. start 新的resourcemanager节点
5. 进行一次主备切换
6. 重启所有nodemanager节点

hiveserver2 、hive metastore

这两个服务就新增就可以了

1. 修改配置文件，加入新的节点
2. 重启所有hs2和hms节点

元数据库MySQL

在异地机房再配置一个从节点指定到master节点；
hive配置文件使用的mysql地址最好使用域名而不是ip地址

zookeeper

zookeeper服务迁移比较简单

1. 停止一个follower节点
2. 再新节点上启动zk服务，使其加入zk集群即可
3. 修改所有使用到zk集群的组件配置文件

freeipaserver

现状：2台机器，热备。

1. 在异地机房再热备一个节点

需要注意的是，有些使用到集群配置文件进行集成的组件也需要对配置文件进行更新。包括：

1. spark on hive，所以需要更新spark conf路径下的hive配置文件，更新即以旧换新
2. Dolphinscheduler 更新hdfs-site yarn-site配置文件