MySQL 亿级数据迁移之迁移策略

步骤

子项目提供数据同步接口,可根据情况选择同步的线程数以及批量插入的数据量。
具体步骤:

  1. 全量迁移:搬迁当前库中所有的历史数据(新项目提供数据迁移的接口,可批量迁移数据,该过程会搬掉库中大部分数据)
  2. 增量迁移:记录全量迁移开始的时间,搬迁全量迁移过程中变更了的数据
  3. 数据比对:通过接口比对 Cassandra 和 MySQL 中的数据,最终数据一致性达到一定99.99%以上
  4. 开双写:通过数据比对确保全量迁移和增量迁移没问题以后,打开双写。如果双写有问题,数据比对还可以发现双写中的问题。
  5. 切 Cassandra 读:确保双写没问题以后,关闭MySQL写。

测试结果

Spring-data-cassandra

  • 5个线程,每个线程150条数据,一个小时,808万条数据,13.4万/分钟
  • 5个线程,每个线程500条数据,15分钟,274万条数据,22.8万/分钟
    使用 Spring-data-cassandra 连接驱动时速度过慢,检查后发现,Spring-data-cassandra 的API中,批量插入操作,内部实现是一条一条插入的

Cassandra-driver

在本机运行,修改 Cassandra 并发读和并发写的线程数为32,每次批量数据大小为5000kb,读写超时提醒为500000毫秒,测试结果如下:

  • 使用一个节点

      10个线程,MySQL每次查询5000条,每次插入1000条,三分钟,137万 45.6万/分  1000万条数据 21.9分钟
      10个线程,MySQL每次查询5000条,每次插入2000条,两分钟,76万 38万/分     1000万条数据 26.3分钟
      6个线程,MySQL每次查询5000条,每次插入2000条,二分钟,99万 50万/分      1000万条数据 20分钟
      6个线程,MySQL每次查询5000条,每次插入5000条,一分钟,52万 52万/分      1000万条数据 19.2分钟
      5个线程,MySQL每次查询5000条,每次插入1000条,7分钟,400万 57万/分     1000万条数据 17.5分钟
      5个线程,MySQL每次查询5000条,每次插入2000条,一分钟,56万 56万/分     1000万条数据 17.8分钟
      5个线程,MySQL每次查询5000条,每次插入5000条,一分钟,36万 36万/分     1000万条数据 27.7分钟
  • 增加到两个节点:

      5个线程,MySQL每次查询5000条,每次插入5000条,十分钟,790万 79万/分   1000万条数据12.6分钟
      5个线程,MySQL每次查询10000条,每次插入5000条,十分钟,632万 63.2万/分 1000万条数据15.8分钟
      10个线程,MySQL每次查询5000条,每次插入5000条,十分钟,650万 65万/分   1000万条数据15.3分钟
    
  • 关闭commitLog,两个节点

     5个线程,MySQL每次查询5000条,每次插入5000条,十分钟,760万 76万/分    1000万条数据13.1分钟
    
  • 关闭commitLog,一个节点

      5个线程,MySQL每次查询5000条,每次插入5000条,十分钟,690万 69万/分 1000万条数据14.5分钟
      5个线程,MySQL每次查询5000条,每次插入5000条,2.5分钟,110万,44万/分 1000万条数据22.7分钟
      5个线程,MySQL每次查询1000条,每次插入5000条,3分钟,133万, 44万/分 1000万条数据22.7分钟
      5个线程,MySQL每次查询10000条,每次插入5000条,3分钟,84万, 28万/分 1000万条数据35.7分钟
      10个线程,MySQL每次查询10000条,每次插入5000条,2分钟,87万, 43.5万/分 1000万条数据22.9分钟
      
  • 服务器上运行,三个节点

      5个线程,MySQL每次查询10000条,每次插入5000条, 80万/分钟 1000万条数据12.5分钟
      5个线程,MySQL每次查询20000条,每次插入5000条, 85万/分钟 1000万条数据11.8分钟
      5个线程,MySQL每次查询10000条,每次插入10000条, 80万/分钟 1000万条数据12.5分钟
      10个线程,MySQL每次查询10000条,每次插入5000条, 76万/分钟 1000万条数据13.1分钟
      

Scylla-driver

使用Scylla-driver驱动,速度与Cassandra-driver基本一致

## 总结

  1. 我们一共在三台服务器上安装 Cassandra,在 Cassandra 参数配置完全一致的情况下,86服务器上数据迁移速度在45万/分钟~60万/分钟,120服务器在70万/分钟~80万/分钟,106服务器上在80万/分钟~85万/分钟。
  1. 在数据迁移过程中,我们尝试了修改 Cassandra 的并发线程,读写超时,以及JVM参数等等,进行逐个测试,发现在迁移数据的时候,服务器磁盘在进行频繁IO,则最终瓶颈在于Cassandra 将数据从 memtable 中 flush 到磁盘的一个 SSTable 中。

你可能感兴趣的:(MySQL 亿级数据迁移之迁移策略)