【MySQL】MySQL无感知不停机数据迁移方案整理

目录

1、我有一张表daily_hits_count,需要从一个数据库迁移到一个新的数据库,同时,旧的数据库也是需要保留,如何处理

2、这两个库在不同的实例

3、如何只做增量的数据迁移

参考资料


1、我有一张表daily_hits_count,需要从一个数据库迁移到一个新的数据库,同时,旧的数据库也是需要保留,如何处理

您可以按照以下步骤将旧的数据库中的daily_hits_count表迁移到新的数据库。

  1. 在新的数据库中创建daily_hits_count表

    您可以使用以下语句在新的数据库中创建daily_hits_count表:

    CREATE TABLE daily_hits_count (
      date DATE PRIMARY KEY,
      hits INT NOT NULL
    );
    
  2. 在旧的数据库中导出daily_hits_count表

    使用以下mysqldump命令在旧的数据库中导出daily_hits_count表到一个.sql文件中:

    mysqldump -u username -p old_db_name daily_hits_count > daily_hits_count.sql
    

    username 替换为旧数据库中的用户名, old_db_name 替换为旧数据库的名称。

  3. 将.sql文件导入新的数据库

    在新的数据库中使用以下命令将.sql文件导入新的数据库中:

    mysql -u username -p new_db_name < daily_hits_count.sql
    

    username 替换为新数据库中的用户名,new_db_name 替换为新的数据库名。

  4. 将旧的数据库重命名

    您可以使用以下语句将旧的数据库重命名:

    RENAME DATABASE old_db_name TO new_db_name_old; 
    

    这将把旧数据库的名称更改为new_db_name_old,并保留到新数据库的 daily_hits_count 表的数据。这意味着您可以继续访问旧数据库的数据。

以上步骤将会将旧的数据库中的daily_hits_count表迁移到新的数据库中,并且保留了旧的数据库。

2、这两个库在不同的实例

如果待迁移的数据库位于不同的MySQL实例中,您可以采用以下步骤将旧数据库中的 daily_hits_count 表迁移至新的数据库实例。

  1. 在新的实例中创建daily_hits_count表

    您可以使用以下语句在新的数据库实例中创建daily_hits_count表:

    CREATE TABLE daily_hits_count (
      date DATE PRIMARY KEY,
      hits INT NOT NULL
    );
    
  2. 在旧实例中使用mysqldump导出数据

    在旧实例的命令行中执行以下mysqldump命令来导出daily_hits_count表到.sql文件中:

    mysqldump -u username -p old_db_name daily_hits_count > daily_hits_count.sql
    

    将 username 替换为旧实例的用户名,old_db_name 替换为旧实例中的数据库名称。

  3. 将备份文件传输到新实例

    将步骤2中导出的备份文件 daily_hits_count.sql 从旧实例复制到新实例。这可以通过多种方法实现,如scp,sftp等。

  4. 在新实例中导入数据

    在新实例的命令行中执行以下命令从备份文件导入数据:

    mysql -u username -p new_db_name < daily_hits_count.sql
    

    将 username 替换为新实例中的用户名,new_db_name 替换为新实例中的数据库名。

  5. 验证数据导入

    在新实例中使用以下命令查看导入的数据:

    SELECT * FROM daily_hits_count;
    

以上步骤将会在将旧数据库中的 daily_hits_count 表迁移到新的实例中,但是旧实例也将继续保留并且可以随时查询。需要注意的是,如果您的实例之间的网络连接速度较慢,此方法可能需要一些时间来进行数据迁移。

3、如何只做增量的数据迁移

如果您只需要对 daily_hits_count 表中修改或新增的数据进行增量迁移而不是全量迁移,可以使用MySQL Replication进行数据同步。MySQL Replication是MySQL在多个数据库之间提供实时数据复制的一种方式,在主数据库上进行的更改将自动在从数据库上进行复制。下面是一些步骤及说明,可以以此来操作:

  1. 配置主从数据库

    在新实例中创建一台MySQL从服务器,并配置主从复制。主服务器上的更改将自动复制到从服务器上。

  2. 在新实例中创建daily_hits_count表

    在新实例中创建一个新的daily_hits_count表,此表应具有与旧实例中的表相同的模式。请参考之前提供的创建表的步骤。

  3. 在旧实例上启用binlog

    您需要在旧实例中启用binlog以允许从服务器复制更改。添加以下配置到您的旧实例的my.cnf文件中:

    # 开启binlog
    log_bin = /var/log/mysql/mysql-bin.log
    # 设置binlog格式为row格式
    binlog-format = row
    

    确保更改已保存,并重新启动MySQL服务器。

  4. 从旧实例导入数据

    导入数据之前,请停止所有对daily_hits_count表的更改。在旧实例中执行以下SQL语句以锁定daily_hits_count表,并启动复制:

    FLUSH TABLES WITH READ LOCK;
    SHOW MASTER STATUS;
    

    SHOW MASTER STATUS; 将显示一个类似于以下输出的内容:

    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_SQl | Binlog_Ignore_SQL|
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |     1064 |              |                  |
    +------------------+----------+--------------+------------------+
    

    记下“File”和“Position”,在下一步中使用。

    在旧实例上执行以下命令导出daily_hits_count表中的数据,并将其传输到新实例:

    mysqldump -u username -p --skip-lock-tables --single-transaction --set-gtid-purged=OFF old_db_name daily_hits_count > daily_hits_count_incremental.sql
    

    将 username 替换为旧实例中的用户名, old_db_name 替换为旧实例中的数据库名称。 --skip-lock-tables选项用于允许mysqldump在不锁定表的情况下导出数据。 --single-transaction选项将会产生一个一致性的快照。 --set-gtid-purged=OFF选项用于关闭GTID(全局事务标识符)。

  5. 在新实例中导入增量数据

    在新实例中执行以下命令以导入增量数据:

    mysql -u username -p new_db_name < daily_hits_count_incremental.sql
    

    将 username 替换为新实例中的用户名, new_db_name 替换为新实例中的数据库名称。

  6. 在新实例中启动复制

    在新实例中执行以下SQL语句以开始复制:

    CHANGE MASTER TO
      MASTER_HOST = 'old_instance_host',
      MASTER_USER = 'replication_username',
      MASTER_PASSWORD = 'replication_password',
      MASTER_LOG_FILE = 'binlog_file_name',
      MASTER_LOG_POS = binlog_position;
    
    START SLAVE;
    

    将 old_instance_host 替换为旧实例的主机名或IP地址, replication_username 和 replication_password 分别为设置的主从复制的用户名和密码, binlog_file_name 和 binlog_position 分别为在第四步中获得的master状态的日志文件名和位置。

    启动从服务器的复制并开始读取旧服务器上的binlog。从服务器将开始在新服务器上写入所有接收到的更改,而无需重新导入数据。

  7. 验证数据同步

    在新实例中使用以下命令验证数据已成功复制:

    SELECT * FROM daily_hits_count;
    

    如果数据同步成功,将在新实例的输出中看到daily_hits_count表中的数据。

使用上述步骤,您可以在旧实例的daily_hits_count表中进行更改和添加数据,并通过MySQL Replication功能将增量更改同步到新实例中的daily_hits_count表中。

参考资料

线上数据库迁移的几种方法_数据库迁移怎么操作_Koikoi123的博客-CSDN博客

数据库迁移有哪些做法? - 知乎

 

你可能感兴趣的:(数据库)