MongoShake数据迁移mongodb

简介
MongoShake是一个以golang语言进行编写的通用的平台型服务，通过读取MongoDB集群的Oplog操作日志，对MongoDB的数据进行复制，后续通过操作日志实现特定需求。日志可以提供很多场景化的应用，为此，我们在设计时就考虑了把MongoShake做成通用的平台型服务。通过操作日志，我们提供日志数据订阅消费PUB/SUB功能，可通过SDK、Kafka、MetaQ等方式灵活对接以适应不同场景(如日志订阅、数据中心同步、Cache异步淘汰等)。集群数据同步是其中核心应用场景，通过抓取oplog后进行回放达到同步目的，实现灾备和多活的业务场景。

开源下载地址

https://github.com/alibaba/MongoShake?spm=a2c4e.10696291.0.0.316619a4JXuDrN

二进制版本下载地址

https://github.com/alibaba/MongoShake/releases

实验环境

源mongodb

单机mongodb 10.23.215.213 800万条记录

> use testdb
switched to db testdb
> db.table1.count()
8000000
>

目标mongodb

 下载mongoshake 

wget https://github.com/alibaba/MongoShake/releases/download/release-v2.2.0-20191120/mongoshake-v2.2.0.tar.gz

解压修改配置

tar zxvf mongoshake-v2.2.0.tar.gz

 

 

 运行命令

./collector.linux  -conf=collector.conf -verbose