MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)

文章目录

  • 一、MySQL复制
      • 1.1 MySQL几个同步模式概念:
      • 1.2 MySQL半同步复制技术
      • 1.3 半同步复制具体特性
  • 二、半同步复制的配置
  • 三、全同步复制(组复制)
      • 1、全同步复制(组复制)的基本概念
      • 2、配置组复制

一、MySQL复制

1.1 MySQL几个同步模式概念:

1、 异步复制(Asynchronous replication)

MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主库上已经提交的事务可能并没有传到从库上,如果此时,强行将从库提升为主库,可能导致新主库上的数据不完整。

2、全同步复制(Fully synchronous replication)

指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响。

3、半同步复制(Semisynchronous replication)

一主多从模式下,有一个从节点返回成功,即成功,不必等待多个节点全部返回。介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第1张图片

1.2 MySQL半同步复制技术

一般而言,普通的replication,即MySQL的异步复制,依靠MySQL二进制日志也即binary log进行数据复制。 比如两台机器,一台主机(master),另外一台是从机(slave)。

  • 正常的复制为: 事务一(t1)写入binlog buffer;dumper线程通知slave有新的事务t1;binlog buffer进行checkpoint;slave的io线程接收到t1并写入到自己的的relay log;slave的sql线程写入到本地数据库。这时,master和slave都能看到这条新的事务,即使master挂了,slave可以提升为新的master。

  • 异常的复制为: 事务一(t1)写入binlog buffer;dumper线程通知slave有新的事务t1;binlog
    buffer进行checkpoint;slave因为网络不稳定,一直没有收到t1;master挂掉,slave提升为新的master,t1丢失。

  • 很大的问题是: 主机和从机事务更新的不同步,就算是没有网络或者其他系统的异常,当业务并发上来时,slave因为要顺序执行master批量事务,导致很大的延迟。

为了弥补以上几种场景的不足,MySQL从5.5开始推出了半同步复制。相比异步复制,半同步复制提高了数据完整性,因为很明确知道,在一个事务提交成功之后,这个事务就至少会存在于两个地方。即在master的dumper线程通知slave后,增加了一个ack(消息确认),即是否成功收到t1的标志码,也就是dumper线程除了发送t1到slave,还承担了接收slave的ack工作。 如果出现异常,没有收到ack,那么将自动降级为普通的复制,直到异常修复后又会自动变为半同步复制。即表示MASTER 只需要接收到其中一台SLAVE的返回信息,就会commit;否则需等待直至达到超时时间然后切换成异步再提交。

1.3 半同步复制具体特性

主库产生binlog到主库的binlog file,传到从库中继日志,然后从库应用;也就是说传输是异步的,应用也是异步的。半同步复制指的是传输同步,应用还是异步的!

  • 从库会在连接到主库时告诉主库,它是否配置了半同步。
  • 如果半同步复制在主库端是开启了的,并且至少有一个半同步复制的从库节点,那么此时主库的事务线程在提交时会被阻塞并等待,结果有两种可能,要么至少一个从库节点通知它已经收到了所有这个事务的Binlog事件,要么一直等待直到超过配置的某一个时间点为止,而此时,半同步复制将自动关闭,转换为异步复制。
  • 从库节点只有在接收到某一个事务的所有Binlog,将其写入并Flush到Relay Log文件之后,才会通知对应主库上面的等待线程。
  • 如果在等待过程中,等待时间已经超过了配置的超时时间,没有任何一个从节点通知当前事务,那么此时主库会自动转换为异步复制,当至少一个半同步从节点赶上来时,主库便会自动转换为半同步方式的复制。
  • 半同步复制必须是在主库和从库两端都开启时才行,否则主库默认使用异步方式复制。

二、半同步复制的配置

将插件安装在数据库中是临时的,退出重新登陆会失效,永久的可以将配置写在配置文件中
实验环境:基于异步复制的基础上

  • 异步复制

1、 在server1(master节点)上

1 | INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; 安装半同步模块
2 |	SELECT PLUGIN_NAME, PLUGIN_STATUS 
		   FROM INFORMATION_SCHEMA.PLUGINS 
		   WHERE PLUGIN_NAME LIKE '%semi%'; 查看插件
3 | SET GLOBAL rpl_semi_sync_master_enabled = 1; 开启半同步,也就是激活插件

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第2张图片

2、在server2(slave节点)上

1 | INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';  安装半同步插件
2 | SET GLOBAL rpl_semi_sync_slave_enabled =1; 激活插件
3 | STOP SLAVE IO_THREAD; 重启IO线程使半同步生效
4 | START SLAVE IO_THREAD;
  • 从库重启io进程,激活插件之后必须要重启io进程,否则不会生效,如果重启不了的话就说明两端的数据不同步

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第3张图片

3、在server1(master节点)上,查看变量的状态和值:

mysql> show status like '%rpl%'; 查看变量的状态
mysql> show variables like '%rpl%'; 查看变量的值
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | ON         |
		### 是否开启半同步
| rpl_semi_sync_master_timeout              | 10000      | 
		###切换复制的timeout
| rpl_semi_sync_master_trace_level          | 32         | 
		###用于开启半同步复制模式时的调试级别,默认是32
| rpl_semi_sync_master_wait_for_slave_count | 1          |
		###至少有N个slave接收到日志
| rpl_semi_sync_master_wait_no_slave        | ON         |
		###是否允许master 每个事物提交后都要等待slave的receipt信号。默认为on 
| rpl_semi_sync_master_wait_point           | AFTER_SYNC | 
		###等待的point
| rpl_stop_slave_timeout                    | 31536000   |
+-------------------------------------------+------------+    
		###控制stop slave 的执行时间,在重放一个大的事务的时候,突然执行stop slave,命令 
		###stop slave会执行很久,这个时候可能产生死锁或阻塞,严重影响性能


MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第4张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第5张图片

4、在slave节点上,

mysql> show variables like '%rpl%'; 查看变量的值

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第6张图片

5、测试:
1)server2关闭io进程:STOP SLAVE IO_THREAD;
2)在server1上,

use ranran;
insert into usertb values ('user00','123');

主库等待10s,当10s后没有接收到slave的ack请求,主库就自动转换为异步复制。
MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第7张图片
查看半同步状态也是off,待同步的事务也是1
MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第8张图片
有10秒的延迟,这是因为从库的io进程关闭了,不能及时的写入数据;主库等待10秒之后从库还没有起来,主库不再等待直接写入

3)再次插入数据,发现特别快,此时已经变成异步了,主库切换为异步后就不再关心从库了
在这里插入图片描述

4)server2开启io进程:START SLAVE IO_THREAD;
5)输出结果显示了有哪些线程在运行:show processlist;

id列:一个标识
user列: 显示当前用户,如果不是root,这个命令就只显示你权限范围内的sql语句
host列:显示这个语句是从哪个ip 的哪个端口上发出的。可用来追踪出问题语句的用户
db列:显示这个进程目前连接的是哪个数据库
command列:显示当前连接的执行的命令,一般就是休眠(sleep),查询(query),连接(connect)
time列:此这个状态持续的时间,单位是秒
state列:显示使用当前连接的sql语句的状态

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第9张图片
6)查看表信息,已经复制过来,只要从库的io进程恢复工作就会立即同步没有同步的数据

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第10张图片

三、全同步复制(组复制)

1、全同步复制(组复制)的基本概念

  • 组复制模型:
    它支持单主模型和多主模型两种工作方式(默认是单主模型)
    单主模型: 从复制组中众多个MySQL节点中自动选举一个master节点,只有master节点可以写,其他节点自动设置为read only。当master节点故障时,会自动选举一个新的master节点,选举成功后,它将设置为可写,其他slave将指向这个新的master。
    多主模型: 复制组中的任何一个节点都可以写,因此没有master和slave的概念,只要突然故障的节点数量不太多,这个多主模型就能继续可用
  • 组复制原理:
    组复制由多个 server成员构成,并且组中的每个 server 成员可以独立地执行事务,但所有读写(RW)事务只有在冲突检测成功后才会提交。只读(RO)事务不需要在冲突检测,可以立即提交。

2、配置组复制

实验环境

主机名 IP 功能
server1 172.25.7.1 master节点
server2 172.25.7.2 slave节点
server3 172.25.7.3 slave节点

在server1上
1、关闭mysqld :systemctl stop mysqld
2、查看UUID:cat /var/lib/mysql/auto.cnf
3、删除mysql数据:rm -fr /var/lib/mysql/*

  • 注意:删除数据之前先复制uuid,三个节点的uuid使用同一个值,而且不能与三个节点自身的uuid相同
    MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第11张图片

4、修改配置文件 vim /etc/my.cnf

  • binlog_checksum=NONE :关闭binlog校验
  • binlog_format=ROW :组复制依赖基于行的复制格式
  • loose-group_replication_bootstrap_group=off :插件是否自动引导,这个选项一般都要off掉,只需要由发起组复制的节点开启,并只启动一次,如果是on,下次再启动时,会生成一个同名的组,可能会发生脑裂
  • 开启多主模式的参数
    loose-group_replication_enforce_update_everywhere_checks=ON
    loose-group_replication_single_primary_mode=OFF

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第12张图片
5、 开启数据库 systemctl start mysqld ,再次安全初始化:mysql_secure_installationMySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第13张图片
6、登录数据库并配置组复制


mysql> SET SQL_LOG_BIN=0;
	##关闭二进制日志
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Westos==123';
	##创建用户
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
	##用户授权
mysql> FLUSH PRIVILEGES;
	##刷新用户授权表
mysql> SET SQL_LOG_BIN=1;
	##开启二进制日志

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第14张图片

mysql> CHANGE MASTER TO MASTER_USER='rpl_user', 
	MASTER_PASSWORD='Westos==123', 
	FOR CHANNEL 'group_replication_recovery';
	##配置用户
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
	##安装组复制插件
mysql> SET GLOBAL group_replication_bootstrap_group=ON;
	##在第一个节点上要先打开一次
mysql> START GROUP_REPLICATION;
	##开启组复制
mysql> SET GLOBAL group_replication_bootstrap_group=OFF;
	##关闭组复制激活
mysql> SELECT * FROM performance_schema.replication_group_members;
	##查看当前组的状态,是否为online

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第15张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第16张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第17张图片

在这里插入图片描述

在server2和server3上配置
7、关闭mysql服务: systemctl stop mysqld
8、删除数据目录的内容:rm -fr /var/lib/mysql/*
9、编辑配置文件vim /etc/my.cnf,重启服务systemctl start mysqld

  • 仅更改server-id和loose-group_replication_local_address

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第18张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第19张图片

10、查看临时密码 grep password /var/log/mysqld.log,安全初始化mysql_secure_installationMySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第20张图片
11、登录数据库:mysql -uroot -pWestos==123


CREATE USER rpl_user@'%' IDENTIFIED BY 'Westos==123';
GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Yan+123kou' FOR CHANNEL 'group_replication_recovery';
INSTALL PLUGIN group_replication SONAME 'group_replication.so';
START GROUP_REPLICATION;

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第21张图片
MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第22张图片
此时开启组复制,发现有报错,查看日志:cat /var/log/mysqld.log

在这里插入图片描述

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第23张图片

12、再次登录数据库,

STOP GROUP_REPLICATION;
set global group_replication_allow_local_disjoint_gtids_join=on;
START GROUP_REPLICATION;

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第24张图片

13、配置好后 在server1上 查看,
SELECT * FROM performance_schema.replication_group_members;
MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第25张图片
14、同样在server3上修改配置文件
MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第26张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第27张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第28张图片

14、配置好server2和server3后 在server1上 查看,
SELECT * FROM performance_schema.replication_group_members;
看到3台都是online,表示正常,此时在任何一个节点写入数据,其他节点都可以看到。

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第29张图片

15、测试
在server1上插入数据:

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第30张图片

在server3可以看到server1上插入的数据,且也可以插入数据。

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第31张图片

MySQL数据库集群实战———MySQL半同步复制、全同步复制(组复制)_第32张图片
可以看到,已经实现了组复制,在任意一个节点写数据,其他两个节点会进行组复制

你可能感兴趣的:(企业,Linux,数据库)