千亿级数据平滑扩容之数据库平滑扩容实现

1. 扩容后的部署架构

由之前的双主两台节点, 扩充为两对双主, 共四个节点:

千亿级数据平滑扩容之数据库平滑扩容实现_第1张图片

2. 新增数据库VIP

  1. 在Server2节点上增加虚拟IP配置:

    修改/etc/keepalived/keepalived.conf,追加:

    ...
    vrrp_instance VI_2 {            #vrrp实例定义
        state BACKUP               #lvs的状态模式,MASTER代表主, BACKUP代表备份节点
        interface ens33               #绑定对外访问的网卡
        virtual_router_id 112        #虚拟路由标示,同一个vrrp实例采用唯一标示
        priority 100               #优先级,100代表最大优先级, 数字越大优先级越高
        advert_int 1              #master与backup节点同步检查的时间间隔,单位是秒
        authentication {           #设置验证信息
            auth_type PASS         #有PASS和AH两种
            auth_pass 6666         #验证密码,BACKUP密码须相同
        }
        virtual_ipaddress {         #KeepAlived虚拟的IP地址
            10.10.20.131
        }
    }
    virtual_server 10.10.20.131 3306 {       #配置虚拟服务器IP与访问端口
        delay_loop 6                 #健康检查时间
        persistence_timeout 0        #会话保持时间,这里要做测试, 所以设为0, 实际可根据session有效时间配置
        protocol TCP               #转发协议类型,支持TCP和UDP
        real_server 10.10.20.126 3306{    #配置服务器节点VIP1
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #设置权重,越大权重越高
        TCP_CHECK {              #r状态监测设置
           connect_timeout 10       #超时配置, 单位秒
           retry 3             #重试次数
           delay_before_retry 3        #重试间隔
           connect_port 3306         #连接端口, 和上面保持一致
           }
        }
    
    }
    

    注意配置项:

    virtual_router_id 112        #虚拟路由标示,同一个vrrp实例采用唯一标示
    priority 100               #优先级,100代表最大优先级, 数字越大优先级越高

3. 应用服务增加动态数据源

  1. 修改应用服务配置, 增加新的数据源, 指向新设置的VIP: 10.10.20.131

    之前是实现了应用服务的动态扩容, 在配置文件里修改:

    driverClassName=com.mysql.cj.jdbc.Driver
    username=root
    password=654321
    url=jdbc:mysql://10.10.20.131:3306/smooth?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=UTC
    initialSize=5
    minIdle=5
    maxActive=20
    maxWait=60000
    timeBetweenEvictionRunsMillis=60000
    minEvictableIdleTimeMillis=300000
    validationQuery=SELECT 1
    testWhileIdle=true
    testOnBorrow=false
    testOnReturn=false
  2. 通过应用服务接口, 动态扩容调整
    file
    通过动态调整接口, 让扩容的第2个数据源生效。

4. 解除原双主同步关系

  1. 进入Server1:

    MariaDB [(none)]> stop slave;
  2. 进入Server2:

    MariaDB [(none)]> stop slave;
  3. 可以通过应用服务接口验证数据是否解除同步成功

5. 安装MariaDB扩容服务器

  1. 新建两台虚拟机, 分别对应上面部署架构图中的Server3和Server4。
  2. 在Server3和Server4两台节点上安装MariaDB服务

    可参考上一个篇章中的MariaDB服务安装教程。

  3. 配置Server3与Server1,实现新的双主同步

    1) Server3节点, 修改/etc/my.cnf:

    [mysqld]
    server-id = 2
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=2
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10
    

    2) 重启Server3数据库

    service mariadb restart

    3) 创建replica用于主从同步的用户:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    4) 在Server1节点,进行数据全量备份:

    mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 --databases smooth > server1.sql
    

    5) 查看并记录master status信息:

    ...
    --
    -- Position to start replication or point-in-time recovery from
    --
    
    -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=17748;
    ...
    

    6) 将备份的server1.sql通过scp命令拷贝至Server3节点。

    scp server1.sql [email protected]:/usr/local/

    7) 将数据还原至Server3节点:

    mysql -uroot -p654321 < /usr/local/server1.sql

    8) 配置主从同步信息

    根据上面的master status信息, 在Server3中执行:

    MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000002', master_log_pos=17748, master_connect_retry=30;
    Query OK, 0 rows affected (0.01 sec)
    

    9) 开启主从同步:

    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    

    如果出现问题, 复原主从同步信息:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.01 sec)
    

    10) 检查同步状态信息:

    MariaDB [(none)]> show slave status \G
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.125
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000004
              Read_Master_Log_Pos: 11174
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 1746
            Relay_Master_Log_File: mysql-bin.000004
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    

    11) 配置Server1与Server3节点的同步

    查看Server3的日志信息:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |     4781 |              |                  |
    +------------------+----------+--------------+------------------+
    

    在Server1节点, 配置同步信息:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.00 sec)
    
    MariaDB [(none)]> change master to master_host='10.10.20.127',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=4781, master_connect_retry=30;
    
    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    
  4. 配置新的Server4与Server2的双主同步关系

    1) Server4节点, 修改/etc/my.cnf:

    [mysqld]
    server-id = 3
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=2
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10
    

    2) 重启Server4数据库

    service mariadb restart

    3) 创建replica用于主从同步的用户:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    4) 在Server2节点,进行数据全量备份:

    mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 --databases smooth > server2.sql
    

    5) 查看并记录master status信息:

    ...
    --
    -- Position to start replication or point-in-time recovery from
    --
    
    -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=4208;
    
    ...
    

    6) 将备份的server2.sql通过scp命令拷贝至Server4节点。

    scp server2.sql [email protected]:/usr/local/

    7) 将数据还原至Server4节点:

    mysql -uroot -p654321 < /usr/local/server2.sql

    8) 配置主从同步信息

    根据上面的master status信息, 在Server4中执行:

    MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000003', master_log_pos=4208, master_connect_retry=30;
    Query OK, 0 rows affected (0.01 sec)
    

    9) 开启主从同步:

    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    

    注意, 如果出现问题, 复原主从同步信息:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.01 sec)
    

    10) 检查同步状态信息:

    MariaDB [(none)]> show slave status \G
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.125
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000004
              Read_Master_Log_Pos: 11174
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 1746
            Relay_Master_Log_File: mysql-bin.000004
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    

    11) 配置Server2与Server4节点的同步

    查看Server4的日志信息:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |     3696 |              |                  |
    +------------------+----------+--------------+------------------+
    

    在Server2节点, 配置同步信息:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.00 sec)
    
    MariaDB [(none)]> change master to master_host='10.10.20.128',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=3696, master_connect_retry=30;
    
    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    

6. 增加KeepAlived服务实现高可用

  1. 确保新增的Server3和Server4节点安装Keepalived服务。

    KeepAlived服务安装可参考之前的教程。

  2. 修改Server3节点配置

    global_defs {
       router_id vip3          # 机器标识,一般设为hostname,故障发生时,邮件通知会使用到。
    }
    vrrp_instance VI_1 {            #vrrp实例定义
        state BACKUP               #lvs的状态模式,MASTER代表主, BACKUP代表备份节点
        interface ens33               #绑定对外访问的网卡
        virtual_router_id 111        #虚拟路由标示,同一个vrrp实例采用唯一标示
        priority 98               #优先级,100代表最大优先级, 数字越大优先级越高
        advert_int 1              #master与backup节点同步检查的时间间隔,单位是秒
        authentication {           #设置验证信息
            auth_type PASS         #有PASS和AH两种
            auth_pass 6666         #验证密码,BACKUP密码须相同
        }
        virtual_ipaddress {         #KeepAlived虚拟的IP地址
            10.10.20.130
        }
    }
    virtual_server 10.10.20.130 3306 {       #配置虚拟服务器IP与访问端口
        delay_loop 6                 #健康检查时间
        persistence_timeout 0        #会话保持时间,这里要做测试, 所以设为0, 实际可根据session有效时间配置
        protocol TCP               #转发协议类型,支持TCP和UDP
        real_server 10.10.20.127 3306{    #配置服务器节点VIP3
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #设置权重,越大权重越高
        TCP_CHECK {              #r状态监测设置
           connect_timeout 10       #超时配置, 单位秒
           retry 3             #重试次数
           delay_before_retry 3        #重试间隔
           connect_port 3306         #连接端口, 和上面保持一致
           }
        }
    
    }
    

    注意里面IP配置正确, 修改完成后重启服务。

    创建关闭脚本mariadb.sh

    /usr/local/shell/mariadb.sh:

    pkill keepalived

    加入执行权限:

    chmod a+x mariadb.sh
  3. 修改Server4节点配置

    global_defs {
       router_id vip4          # 机器标识,一般设为hostname,故障发生时,邮件通知会使用到。
    }
    vrrp_instance VI_1 {            #vrrp实例定义
        state BACKUP               #lvs的状态模式,MASTER代表主, BACKUP代表备份节点
        interface ens33               #绑定对外访问的网卡
        virtual_router_id 112        #虚拟路由标示,同一个vrrp实例采用唯一标示
        priority 98               #优先级,100代表最大优先级, 数字越大优先级越高
        advert_int 1              #master与backup节点同步检查的时间间隔,单位是秒
        authentication {           #设置验证信息
            auth_type PASS         #有PASS和AH两种
            auth_pass 6666         #验证密码,BACKUP密码须相同
        }
        virtual_ipaddress {         #KeepAlived虚拟的IP地址
            10.10.20.131
        }
    }
    virtual_server 10.10.20.131 3306 {       #配置虚拟服务器IP与访问端口
        delay_loop 6                 #健康检查时间
        persistence_timeout 0        #会话保持时间,这里要做测试, 所以设为0, 实际可根据session有效时间配置
        protocol TCP               #转发协议类型,支持TCP和UDP
        real_server 10.10.20.128 3306{    #配置服务器节点VIP4
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #设置权重,越大权重越高
        TCP_CHECK {              #r状态监测设置
           connect_timeout 10       #超时配置, 单位秒
           retry 3             #重试次数
           delay_before_retry 3        #重试间隔
           connect_port 3306         #连接端口, 和上面保持一致
           }
        }
    
    }   

    重启服务,创建关闭脚本mariadb.sh
    /usr/local/shell/mariadb.sh:

    pkill keepalived

    加入执行权限:

    chmod a+x mariadb.sh
  4. 修改Server2节点的keepAlived配置:

    global_defs {
       router_id vip2          # 机器标识,一般设为hostname,故障发生时,邮件通知会使用到。
    }   
    vrrp_instance VI_1 {            #vrrp实例定义
        state BACKUP               #lvs的状态模式,MASTER代表主, BACKUP代表备份节点
        interface ens33               #绑定对外访问的网卡
        virtual_router_id 112        #虚拟路由标示,同一个vrrp实例采用唯一标示
        priority 100               #优先级,100代表最大优先级, 数字越大优先级越高
        advert_int 1              #master与backup节点同步检查的时间间隔,单位是秒
        authentication {           #设置验证信息
            auth_type PASS         #有PASS和AH两种
            auth_pass 6666         #验证密码,BACKUP密码须相同
        }
        virtual_ipaddress {         #KeepAlived虚拟的IP地址
            10.10.20.131
        }
    }
    virtual_server 10.10.20.131 3306 {       #配置虚拟服务器IP与访问端口
        delay_loop 6                 #健康检查时间
        persistence_timeout 0        #会话保持时间,这里要做测试, 所以设为0, 实际可根据session有效时间配置
        protocol TCP               #转发协议类型,支持TCP和UDP
        real_server 10.10.20.126 3306{    #配置服务器节点VIP1
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #设置权重,越大权重越高
        TCP_CHECK {              #r状态监测设置
           connect_timeout 10       #超时配置, 单位秒
           retry 3             #重试次数
           delay_before_retry 3        #重试间隔
           connect_port 3306         #连接端口, 和上面保持一致
           }
        }   
    }   

    修改完后重启Keepalived服务。

7. 清理数据并验证

  1. 通过应用服务动态扩容接口做调整和验证
  2. 在Server1节点清理数据

    根据取模规则, 保留accountNo为偶数的数据

    delete from t_trade_order where accountNo % 2 != 0
  3. 在Server2节点清理数据

    根据取模规则, 保留accountNo为奇数的数据

    delete from t_trade_order where accountNo % 2 != 1

本文由mirson创作分享,如需进一步交流,请加QQ群:19310171或访问www.softart.cn

你可能感兴趣的:(java)