MySQL主从复制与GTID主从

主从复制与GTID主从

---

一、主从复制

1. 主从作用

• 实时灾备，用于故障切换
• 读写分离，提供查询服务
• 备份，避免影响业务

2.主从形式

• 一主一从
• 主主复制
• 一主多从—扩展系统读取的性能，因为读是在从库读取的
• 多主一从—5.7开始支持
• 联级复制

3. 主从复制原理

主从复制步骤：

• 主库将所有的写操作记录到binlog日志中并生成一个log dump线程，将binlog日志传给从库的I/O线程
• 从库生成两个线程，一个I/O线程，一个SQL线程
  • I/O线程去请求主库的binlog，并将得到的binlog日志写到relay log（中继日志） 文件中
  • SQL线程，会读取relay log文件中的日志，并解析成具体操作，来实现主从的操作一致，达到最终数据一致的目的

---

二、 主从复制配置

主从复制配置步骤：

1. 确保从数据库与主数据库里的数据一样
2. 在主数据库里创建一个同步账号授权给从数据库使用
3. 配置主数据库（修改配置文件）
4. 配置从数据库（修改配置文件）

需求：
搭建两台MySQL服务器，一台作为主服务器，一台作为从服务器，主服务器进行写操作，从服务器进行读操作

1.mysql安装

分别在主从两台服务器上安装mysql-5.7版本，此处略过安装步骤，安装流程请参考：MySQ二进制安装

2.主库配置

//在主库创建一个用于同步的账户授权给从库使用
mysql> create user 'yef'@'192.168.92.132' identified by 'yef123';
Query OK, 0 rows affected (0.00 sec)

mysql> grant replication slave on *.* to 'yef'@'192.168.92.132';
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

[root@master ~]# vim /etc/my.cnf
[root@master ~]# cat /etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /opt/mysqldata
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/mysqldata/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
//添加下面两行
log-bin = mysql-bin		//开启binlog日志
server-id = 10			//设置服务器唯一标识符，主库的server-id值必须比从库的大

[root@master ~]# systemctl restart mysqld.service	//重启服务生效配置

mysql> show master status;		//查看主库的状态，binlog文件名与偏移量
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.01 sec)

3.从库配置

[root@slave ~]# vim /etc/my.cnf
[root@slave ~]# cat /etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /opt/mysqldata
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/mysqldata/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
//添加下面两条
server-id = 20		//设置从库的唯一标识符，从库的server-id值必须小于主库的值
relay-log = mysql-relay-bin		//启用中继日志relay-log

[root@slave ~]# systemctl restart mysqld.service		//重启服务生效配置
[root@slave ~]# ss -anlt			//查看mysql的端口是否开启
State       Recv-Q       Send-Q             Local Address:Port             Peer Address:Port      Process
LISTEN      0            128                      0.0.0.0:22                    0.0.0.0:*
LISTEN      0            80                             *:3306                        *:*
LISTEN      0            128                         [::]:22                       [::]:*

//配置并启动主从复制
mysql> CHANGE MASTER TO
    -> MASTER_HOST='192.168.92.131',
    -> MASTER_USER='yef',
    -> MASTER_PASSWORD='yf123',
    -> MASTER_LOG_FILE='mysql-bin.000001',
    -> MASTER_LOG_POS=154;
Query OK, 0 rows affected, 2 warnings (0.00 sec)

mysql> start slave;
Query OK, 0 rows affected (0.01 sec)

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.92.131
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 154
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 320
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes		//看到此行与下行的‘yes’则开启成功
            Slave_SQL_Running: Yes

4.测试主从复制

//master
mysql> create database test;
Query OK, 1 row affected (0.01 sec)

mysql> create table test.yf(id int not null,name varchar(20));
Query OK, 0 rows affected (0.01 sec)

mysql> insert into test.yf values(1,'xiaowang'),(2,'xiaohong');
Query OK, 2 rows affected (0.01 sec)
Records: 2  Duplicates: 0  Warnings: 0

//slave
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| yf             |
+----------------+
1 row in set (0.00 sec)

mysql> select * from yf;
+----+----------+
| id | name     |
+----+----------+
|  1 | xiaowang |
|  2 | xiaohong |
+----+----------+
2 rows in set (0.00 sec)

---

三、GTID主从

1.GTID的概念

1. 全局事务标识：global transaction identifiers。
2. GTID是一个事务一一对应，并且全局唯一ID。
3. 一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。
4. GTID用来代替传统复制方法，不再使用MASTER_LOG_FILE+MASTER_LOG_POS开启复制。而是使用MASTER_AUTO_POSTION=1的方式开始复制。
5. MySQL-5.6.5开始支持的，MySQL-5.6.10后开始完善。
6. 在传统的slave端，binlog是不用开启的，但是在GTID中slave端的binlog是必须开启的，目的是记录执行过的GTID（强制）。

GTID在binlog中的结构：

GTID 重要参数:

参数	comment
gtid_executed	执行过的所有GTID
gtid_purged	丢弃掉的GTID
gtid_mode	GTID模式
gtid_next	session级别的变量，下一个gtid
gtid_owned	正在运行的GTID
enforce_gtid_consistency	保证GTID安全的参数

开启GTID的必备条件:

gtid_mode=on    (必选)
enforce-gtid-consistency=1  （必选）
log_bin=mysql-bin           （可选）    #高可用切换，最好开启该功能
log-slave-updates=1     （可选）       #高可用切换，最好打开该功能

2.GTID组成

GTID = source_id:transaction_id
source_id 用于鉴别原服务器，即mysql服务器唯一的的server_uuid，由于GTID会传递到slave，所以也可以理解为源ID。
transaction_id 为当前服务器上已提交事务的一个序列号，通常从1开始自增长的序列，一个数值对应一个事务。
示例：
3E11FA47-71CA-11E1-9E33-C80AA9429562:23
前面的一串为服务器的server_uuid，即3E11FA47-71CA-11E1-9E33-C80AA9429562，后面的23为transaction_i

3.GTID原理

1、当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中。
2、binlog传输到slave,并存储到slave的relaylog后，读取这个GTID的这个值设置gtid_next变量，即告诉Slave，下一个要执行的GTID值。
3、sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID。
4、如果有记录，说明该GTID的事务已经执行，slave会忽略。
5、如果没有记录，slave就会执行该GTID事务，并记录该GTID到自身的binlog，
在读取执行事务前会先检查其他session持有该GTID，确保不被重复执行。
6、在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。

四、GTID主从配置

1.主库配置

//在主库创建一个用于同步的账户授权给从库使用
mysql> create user 'yf'@'192.168.92.132' identified by 'yf123';
Query OK, 0 rows affected (0.00 sec)

mysql> grant replication slave on *.* to 'yf'@'192.168.92.132' identified by 'yf123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)

//主库的配置文件
[root@master ~]# vim /etc/my.cnf
[root@master ~]# cat /etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /opt/mysqldata
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/mysqldata/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
//加入下面5行内容
log-bin = mysql_bin
server-id = 10
gtid_mode = on
enforce-gtid-consistency = true
log-slave-updates = on
[root@master ~]# systemctl restart mysqld.service   	//重启服务生效配置

2.从库配置

//修改从库的配置文件
[root@slave ~]# vim /etc/my.cnf
[root@slave ~]# cat /etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /opt/mysqldata
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/mysqldata/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
//加入下面8行内容
server-id=20
relay-log=myrelay
gtid_mode=on
enforce-gtid-consistency=true
log-slave-updates=on
read_only=on
master-info-repository=TABLE
relay-log-info-repository=TABLE
[root@slave ~]# systemctl restart mysqld.service		//重启服务生效配置

//配置并启动主从复制
mysql> change master to
    -> master_host='192.168.92.130',
    -> master_user='yf',
    -> master_password='yf123',
    -> master_auto_position=1;
Query OK, 0 rows affected, 2 warnings (0.02 sec)

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.92.130
                  Master_User: yf
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql_bin.000001
          Read_Master_Log_Pos: 856
               Relay_Log_File: myrelay.000002
                Relay_Log_Pos: 1069
        Relay_Master_Log_File: mysql_bin.000001
             Slave_IO_Running: Yes				//看到此行与下行的‘yes’则开启成功
            Slave_SQL_Running: Yes

3.测试主从

//master
mysql> create database yf_test;
Query OK, 1 row affected (0.01 sec)

mysql> use yf_test;
Database changed
mysql> create table test(id int primary key,name varchar(25) not null);
Query OK, 0 rows affected (0.01 sec)

//slave
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| yf_test            |
+--------------------+
5 rows in set (0.00 sec)

mysql> use yf_test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+-------------------+
| Tables_in_yf_test |
+-------------------+
| test              |
+-------------------+
1 row in set (0.00 sec)

mysql> desc test;
+-------+-------------+------+-----+---------+-------+
| Field | Type        | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+-------+
| id    | int(11)     | NO   | PRI | NULL    |       |
| name  | varchar(25) | NO   |     | NULL    |       |
+-------+-------------+------+-----+---------+-------+