Docker学习笔记——MGR

MGR，是MySQL Group Replication的缩写。
这个搭建的过程非常坎坷，爬了许多坑，浪费了一周的时间，从上周五直到今天，也就是2019年11月30日周六晚上11点30才正式搞定，按捺不住怅然若失的感觉，内心一片崩溃和后悔，赶紧来记录一下。

1、环境

2台物理机，都安装了docker，版本不限

IP	简称	系统
192.168.1.81	81	centos7.5
192.168.1.91	91	centos7.5

docker的mysql image版本为8.0.18。版本不是很重要，网络上有人说5.7的版本和8.0的版本有很大差别，笔者在搭建时未明显感觉出差异。

2、搭建

2.1修改物理机hosts文件

这里有个非常大的坑，一定要注意修改完之后，重启生效，否则MEMBER_STATE一直会是RECOVERING，多么痛的领悟，非常的细小和简单的一个错误，直接浪费快1周时间！

hosts是一定要修改的，除非你是公网固定IP，并且主机名不同，在同一个局域网内是一定要修改的，即使后面你的my.cnf配置文件用的IP配置也一定要修改，非常痛的领悟！

vim /etc/hosts
添加以下内容，根据自己局域网IP修改

192.168.1.81 mgr81
192.168.1.91 mgr91

2.2准备mysql配置文件my.cnf

这里也有一个深坑，用docker的image创建时，千万不要参考mysql官网的例子，因为官网会把本该是loose-group_replication_start_on_boot=off的配置写成group_replication_start_on_boot=off，从而导致container一直重启，非常坑爹。

2.2.1、91物理机的my.cnf

不可重复的参数是
server-id=2
loose-group_replication_local_address = 'mgr91:33066'
33066端口是随便指定的端口，不是数据库连接的端口。

[mysqld]
port=33061

#禁止创建这些引擎，因为MGR只支持InnoDB 
disabled_storage_engines="MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"

plugin_load_add='group_replication.so'

server-id=2
gtid_mode=ON
enforce-gtid-consistency=ON
binlog_checksum=NONE

loose-group_replication_group_name="10e10d4d-4e9d-4a60-b17f-e1c1ada58378"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address = 'mgr91:33066'
loose-group_replication_group_seeds = 'mgr81:33066,mgr91:33066'
loose-group_replication_bootstrap_group=off

# 8.0.2以下添加
transaction_write_set_extraction = XXHASH64
# MGR使用乐观锁,官网建议隔离级别是RC,减少锁粒度
transaction_isolation=READ-COMMITTED

#8.0.3以下添加
log_bin=binlog
log_slave_updates=ON
binlog_format=ROW
master_info_repository=TABLE
relay_log_info_repository=TABLE
enforce_gtid_consistency = 1
binlog_gtid_simple_recovery = 1

# off多主模式，on单主模式
loose-group_replication_single_primary_mode = off
# 多主模式下,强制检查每一个实例是否允许该操作,如果不是多主,可以关闭
loose-group_replication_enforce_update_everywhere_checks = on


pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
datadir=/var/lib/mysql
secure-file-priv= NULL

relay-log = relay91
relay-log-index = relay91

default_authentication_plugin=mysql_native_password
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

# Custom config should go here
!includedir /etc/mysql/conf.d/

2.2.2、81物理机的my.cnf

把不可重复的地方修改一下即可，与91的配置相同。

[mysqld]
port=33061

#禁止创建这些引擎，因为MGR只支持InnoDB 
disabled_storage_engines="MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"

plugin_load_add='group_replication.so'

server-id=1
gtid_mode=ON
enforce-gtid-consistency=ON
binlog_checksum=NONE

loose-group_replication_group_name="10e10d4d-4e9d-4a60-b17f-e1c1ada58378"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address = 'mgr81:33066'
loose-group_replication_group_seeds = 'mgr81:33066,mgr91:33066'
loose-group_replication_bootstrap_group=off

# 8.0.2以下添加
transaction_write_set_extraction = XXHASH64
# MGR使用乐观锁,官网建议隔离级别是RC,减少锁粒度
transaction_isolation=READ-COMMITTED

#8.0.3以下添加
log_bin=binlog
log_slave_updates=ON
binlog_format=ROW
master_info_repository=TABLE
relay_log_info_repository=TABLE
enforce_gtid_consistency = 1
binlog_gtid_simple_recovery = 1

# off多主模式，on单主模式
loose-group_replication_single_primary_mode = off
# 多主模式下,强制检查每一个实例是否允许该操作,如果不是多主,可以关闭
loose-group_replication_enforce_update_everywhere_checks = on


pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
datadir=/var/lib/mysql
secure-file-priv= NULL

relay-log = relay81
relay-log-index = relay81

default_authentication_plugin=mysql_native_password
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

# Custom config should go here
!includedir /etc/mysql/conf.d/

2.3、创建container

2.3.1、前言和一些解释

2.3.1.1、为什么网络模式用host？

docker的网络模式有bridge、host、none、container几种，如果用的swarm集群，还有overlay，但这里不适合用overlay端口会冲突。

一开始想用bridge模式的，但是担心group seeds的IP这里填写会有问题，还有如果用host模式网络性能可能提升一点。所以直接用host模式先快速搞出来。个人猜测，用bridge模式的话，要开33061数据库端口(自定义)、33060Replication插件端口（非自定义）、33066集群端口（自定义），还要向container写入hosts，未实际成功操作，仅供参考。

2.3.1.2、防火墙要允许那些端口？

本例子中2台物理机均须打开，33061、33060、33066三个端口。

2.3.2、脚本

挂载2个文件目录、数据库密码、添加2个host，结合实际自行修改即可。在81和91两台物理机分别执行1次。

docker run --name mgr --restart always --net="host" \
           -e MYSQL_ROOT_PASSWORD=password -e MYSQL_ROOT_HOST="%" -e TZ=Asia/Shanghai \
           -v /home/lucien/mysqlmgr/volumes/mysql-8.0.18/data:/var/lib/mysql  \
           -v /home/lucien/mysqlmgr/my.cnf:/etc/mysql/my.cnf  \
           --add-host mgr81:192.168.1.81 --add-host mgr91:192.168.1.91  \
           -d mysql:8.0.18 \
           --character-set-server=utf8mb4

2.3.3、执行SQL

在2个container上都要执行。

SET SQL_LOG_BIN=0;
CREATE USER rpl_user@'%' IDENTIFIED BY 'group';
GRANT REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO rpl_user@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='group' FOR CHANNEL 'group_replication_recovery';

在81上或91上执行，这里选择81.

SET GLOBAL group_replication_bootstrap_group=ON;
start group_replication;
SET GLOBAL group_replication_bootstrap_group=OFF;

在另外一个mysql实例上执行

#防止错乱
reset master;
start group_replication;

至此，多主搭建完毕。

2.3.4、其他

SQL调试脚本

#查看插件时否安装
show plugins;
#查看gtid
show global variables like '%gtid%' ;
#查看账号状态
select host,user,plugin,authentication_string from mysql.user;
#查看节点状态
select * from performance_schema.replication_group_members;
#查看单主还是多主
show variables like '%single%';
show variables like '%enforce_update_everywhere_checks';

网上有写，一直停留在RECOVERING状态时，要执行如下SQL语句，但是并没有用。

#8.0版本
SET GLOBAL group_replication_recovery_get_public_key=ON;
#5.7版本
SET GLOBAL group_replication_allow_local_disjoint_gtids_join=ON;

3、测试

在任意一个实例执行如下脚本，观察另外一台数据时否同步。

CREATE DATABASE test;
USE test;
CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 TEXT NOT NULL);
INSERT INTO t1 VALUES (1, 'Luis');

SELECT * FROM t1;

4、多主、单主切换

4.1、从多主切换为单主

主节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=OFF;
set global group_replication_single_primary_mode=ON;

set global group_replication_bootstrap_group=ON;
start group_replication;
SET GLOBAL group_replication_bootstrap_group=OFF;

从节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=OFF;
set global group_replication_single_primary_mode=ON;

reset master;
start group_replication;

4.2、从单主切换为多主

某节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=ON;
set global group_replication_single_primary_mode=OFF;

set global group_replication_bootstrap_group=ON;
start group_replication;
SET GLOBAL group_replication_bootstrap_group=OFF;

另外节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=ON;
set global group_replication_single_primary_mode=OFF;

reset master;
start group_replication;