【MySQL】MySQL无感知不停机数据迁移方案整理

目录

1、我有一张表daily_hits_count，需要从一个数据库迁移到一个新的数据库，同时，旧的数据库也是需要保留，如何处理

2、这两个库在不同的实例

3、如何只做增量的数据迁移

参考资料

---

1、我有一张表daily_hits_count，需要从一个数据库迁移到一个新的数据库，同时，旧的数据库也是需要保留，如何处理

您可以按照以下步骤将旧的数据库中的daily_hits_count表迁移到新的数据库。

1. 在新的数据库中创建daily_hits_count表

   您可以使用以下语句在新的数据库中创建daily_hits_count表：

   CREATE TABLE daily_hits_count (
     date DATE PRIMARY KEY,
     hits INT NOT NULL
   );
   

2. 在旧的数据库中导出daily_hits_count表

   使用以下mysqldump命令在旧的数据库中导出daily_hits_count表到一个.sql文件中：

   mysqldump -u username -p old_db_name daily_hits_count > daily_hits_count.sql
   

   将username 替换为旧数据库中的用户名， old_db_name 替换为旧数据库的名称。

3. 将.sql文件导入新的数据库

   在新的数据库中使用以下命令将.sql文件导入新的数据库中：

   mysql -u username -p new_db_name < daily_hits_count.sql
   

   将username 替换为新数据库中的用户名，new_db_name 替换为新的数据库名。

4. 将旧的数据库重命名

   您可以使用以下语句将旧的数据库重命名：

   RENAME DATABASE old_db_name TO new_db_name_old; 
   

   这将把旧数据库的名称更改为new_db_name_old，并保留到新数据库的 daily_hits_count 表的数据。这意味着您可以继续访问旧数据库的数据。

以上步骤将会将旧的数据库中的daily_hits_count表迁移到新的数据库中，并且保留了旧的数据库。

2、这两个库在不同的实例

如果待迁移的数据库位于不同的MySQL实例中，您可以采用以下步骤将旧数据库中的 daily_hits_count 表迁移至新的数据库实例。

1. 在新的实例中创建daily_hits_count表

   您可以使用以下语句在新的数据库实例中创建daily_hits_count表：

   CREATE TABLE daily_hits_count (
     date DATE PRIMARY KEY,
     hits INT NOT NULL
   );
   

2. 在旧实例中使用mysqldump导出数据

   在旧实例的命令行中执行以下mysqldump命令来导出daily_hits_count表到.sql文件中：

   mysqldump -u username -p old_db_name daily_hits_count > daily_hits_count.sql
   

   将 username 替换为旧实例的用户名，old_db_name 替换为旧实例中的数据库名称。

3. 将备份文件传输到新实例

   将步骤2中导出的备份文件 daily_hits_count.sql 从旧实例复制到新实例。这可以通过多种方法实现，如scp，sftp等。

4. 在新实例中导入数据

   在新实例的命令行中执行以下命令从备份文件导入数据：

   mysql -u username -p new_db_name < daily_hits_count.sql
   

   将 username 替换为新实例中的用户名，new_db_name 替换为新实例中的数据库名。

5. 验证数据导入

   在新实例中使用以下命令查看导入的数据：

   SELECT * FROM daily_hits_count;
   

以上步骤将会在将旧数据库中的 daily_hits_count 表迁移到新的实例中，但是旧实例也将继续保留并且可以随时查询。需要注意的是，如果您的实例之间的网络连接速度较慢，此方法可能需要一些时间来进行数据迁移。

3、如何只做增量的数据迁移

如果您只需要对 daily_hits_count 表中修改或新增的数据进行增量迁移而不是全量迁移，可以使用MySQL Replication进行数据同步。MySQL Replication是MySQL在多个数据库之间提供实时数据复制的一种方式，在主数据库上进行的更改将自动在从数据库上进行复制。下面是一些步骤及说明，可以以此来操作：

1. 配置主从数据库

   在新实例中创建一台MySQL从服务器，并配置主从复制。主服务器上的更改将自动复制到从服务器上。

2. 在新实例中创建daily_hits_count表

   在新实例中创建一个新的daily_hits_count表，此表应具有与旧实例中的表相同的模式。请参考之前提供的创建表的步骤。

3. 在旧实例上启用binlog

   您需要在旧实例中启用binlog以允许从服务器复制更改。添加以下配置到您的旧实例的my.cnf文件中：

   # 开启binlog
   log_bin = /var/log/mysql/mysql-bin.log
   # 设置binlog格式为row格式
   binlog-format = row
   

   确保更改已保存，并重新启动MySQL服务器。

4. 从旧实例导入数据

   导入数据之前，请停止所有对daily_hits_count表的更改。在旧实例中执行以下SQL语句以锁定daily_hits_count表，并启动复制：

   FLUSH TABLES WITH READ LOCK;
   SHOW MASTER STATUS;
   

   SHOW MASTER STATUS; 将显示一个类似于以下输出的内容：

   +------------------+----------+--------------+------------------+
   | File             | Position | Binlog_Do_SQl | Binlog_Ignore_SQL|
   +------------------+----------+--------------+------------------+
   | mysql-bin.000001 |     1064 |              |                  |
   +------------------+----------+--------------+------------------+
   

   记下“File”和“Position”，在下一步中使用。

   在旧实例上执行以下命令导出daily_hits_count表中的数据，并将其传输到新实例：

   mysqldump -u username -p --skip-lock-tables --single-transaction --set-gtid-purged=OFF old_db_name daily_hits_count > daily_hits_count_incremental.sql
   

   将 username 替换为旧实例中的用户名， old_db_name 替换为旧实例中的数据库名称。 --skip-lock-tables选项用于允许mysqldump在不锁定表的情况下导出数据。 --single-transaction选项将会产生一个一致性的快照。 --set-gtid-purged=OFF选项用于关闭GTID（全局事务标识符）。

5. 在新实例中导入增量数据

   在新实例中执行以下命令以导入增量数据：

   mysql -u username -p new_db_name < daily_hits_count_incremental.sql
   

   将 username 替换为新实例中的用户名， new_db_name 替换为新实例中的数据库名称。

6. 在新实例中启动复制

   在新实例中执行以下SQL语句以开始复制：

   CHANGE MASTER TO
     MASTER_HOST = 'old_instance_host',
     MASTER_USER = 'replication_username',
     MASTER_PASSWORD = 'replication_password',
     MASTER_LOG_FILE = 'binlog_file_name',
     MASTER_LOG_POS = binlog_position;
   
   START SLAVE;
   

   将 old_instance_host 替换为旧实例的主机名或IP地址， replication_username 和 replication_password 分别为设置的主从复制的用户名和密码， binlog_file_name 和 binlog_position 分别为在第四步中获得的master状态的日志文件名和位置。

   启动从服务器的复制并开始读取旧服务器上的binlog。从服务器将开始在新服务器上写入所有接收到的更改，而无需重新导入数据。

7. 验证数据同步

   在新实例中使用以下命令验证数据已成功复制：

   SELECT * FROM daily_hits_count;
   

   如果数据同步成功，将在新实例的输出中看到daily_hits_count表中的数据。

使用上述步骤，您可以在旧实例的daily_hits_count表中进行更改和添加数据，并通过MySQL Replication功能将增量更改同步到新实例中的daily_hits_count表中。

参考资料

线上数据库迁移的几种方法_数据库迁移怎么操作_Koikoi123的博客-CSDN博客

数据库迁移有哪些做法? - 知乎