zookeeper迁移新集群实现数据恢复

zk的数据迁移，一方面可以使用集群过半数仍然可用的这个特性，另一方面也可以通过直接拷贝元数据文件到新集群；

但是有特殊的场景，第一种就不是最佳的选择，例如公司在用的zookeeper集群，因为历史原因导致集群使用场景复杂，连接数负载很高，尤其在节假日业务活动期间，有可能非预期的将集群连接数并打满，负载过高致使整个集群崩溃，所以需要使用第二种来进行数据的迁移；

新的备份集群需要从头搭建，但是搭建好时需要注意两点：

在新集群没有启动时数据目录不存在；

原始集群的元数据文件放到新集群数据目录下面时，为了能够加载迁移数据需要重启新集群；

所以我们先启动集群，让数据目录进行加载，然后再stop掉集群，删掉备份集群中数据目录下的所有文件，包括：事务日志、快照、两个epoch文件。

手动方式（使用minos工具）

集群管理工具和自己手动操作集群在底层命令的执行上都是一样的，这里可以不必纠结。这篇文章对zookeeper集群的操作命令都是通过minos开源工具来进行集群操作，有兴趣的朋友也可以了解一下，地址为：https://github.com/XiaoMi/minos.git

1、新集群启动（假定备份集群为：backuptst）

新备份集群服务器节点名为：server01、server02、server03、server04、server05；

准备好新集群的所有服务器并进行部署和启动，这样一来zookeeper服务进程启动时会自动创建数据目录。

zookeeper集群部署和启动这里就不会重点陈述了，我就还是直接使用的minos工具，在写好集群配置文件后，下列命令会一键完成新集群的部署和启动的操作。

./deploy bootstrap zookeeper backuptst 

2、新集群集群停止

为将数据迁移到集群中各个节点作准备。

./deploy stop zookeeper backuptst

3、进入新集群中各个节点上删除数据目录下的元数据文件

注意：

如果集群中的epoch当前的记录文件不删掉的话，会造成集群无法正常启动。原因是节点在启动时会识别epoch文件中记录的当前的epoch值，然后load磁盘元数据时会与事务zxid进行对比；而我们后面迁移原始数据中的epoch和当前新集群的不匹配，则集群重启时无法正常启动。故需要将新的备份集群中，各个节点的epoch文件删除，迁移数据时顺便也直接将原始集群的两个epoch拿到该数据目录下即可。

cd 自己的zookeeper集群数据目录路径/version-2/

rm -f *

4、拷贝原始集群中，leader节点下数据目录的元数据文件到备份集群中

拷贝原始集群中的leader节点，在一定程度上是因为考虑leader的数据相对其他节点来说最全。

• 确定原始集群的leader节点ip。

• 备份该节点下对应的数据目录下的文件：

  • 最新的log事务日志文件；

  • 最新的snapshot文件；

  • acceptedEpoch文件；

  • currentEpoch文件；

5、将备份数据分发到新集群中的各个节点对应的数据目录下

将上面的四个文件依次分发到新集群的各个节点下面对应的数据目录中。

例：

我这里事先将原始集群leader数据目录中的上述四个文件提前拷贝到本地的zk_meta_dir的目录中，四个文件如下：

ls /zk_meta_dir/

    log.25bcc3ab96

    snapshot.25bcc3ab95

    acceptedEpoch

    currentEpoch

开始向新备份集群各个节点分发该四个文件：

scp /zk_meta_dir/* work@server01:/home/work/zookeeper/backuptst/zookeeper/version-2/

scp /zk_meta_dir/* work@server02:/home/work/zookeeper/backuptst/zookeeper/version-2/

scp /zk_meta_dir/* work@server03:/home/work/zookeeper/backuptst/zookeeper/version-2/

scp /zk_meta_dir/* work@server04:/home/work/zookeeper/backuptst/zookeeper/version-2/

scp /zk_meta_dir/* work@server05:/home/work/zookeeper/backuptst/zookeeper/version-2/

6、重新启动新集群

./deploy start zookeeper backuptst

到这里，可以通过zkCli.sh命令登陆一台zookeeper进行查看数据是否恢复，或者通过mntr四字命令输出集群信息，对比原始集群的数据信息也可以进行检查。

---

更多内容请关注微信公众号：

微信图片_20200302155528.png