MySQL 主从复制

今天练习了下mysql的主从复制功能,根据网络上的一些文章整理修改

环境

操作系统 ubuntu18.04

mysql版本 5.7.23

主节点 192.168.10.11

从节点 192.168.10.13

MySQL主从复制官方文档:https://dev.mysql.com/doc/refman/5.7/en/replication.html

MySQL主从复制的方式 1、传统方法基于从主机的二进制日志复制事件;2、基于全局事务标识符(GTID)的较新方法

基于日志(binlog)的复制

MySQL主从复制(也称A/B复制)的原理

(1) Master将数据改变记录到二进制日志(binary log)中,也就是配置文件log-bin指定的文件,这些记录叫做二进制日志事件(binary log events);

(2) Slave通过I/O线程读取Master中的binary log events并写入到它的中继日志(relay log);

(3) Slave重做中继日志中的事件,把中继日志中的事件信息一条一条的在本地执行一次,完成数据在本地的存储,从而实现将改变反映到它自己的数据(数据重放)。

主从配置需要注意的点

(1)主从服务器操作系统版本和位数一致;

(2) Master和Slave数据库的版本要一致;

(3) Master和Slave数据库中的数据要一致;

(4) Master开启二进制日志,Master和Slave的server_id在局域网内必须唯一;

Master服务器配置

1、修改Master的配置文件(homestead)

vi /etc/mysql/mysql.conf.d/mysql.cnf

2、增加配置项

##### 设置server_id,一般设置为IP

server_id=11

##### 复制过滤:需要备份的数据库,输出binlog

binlog-do-db=homestead

##### 复制过滤:不需要备份的数据库,不输出(mysql库一般不同步)

binlog-ignore-db=mysql

##### 开启二进制日志功能,可以随便取,最好有含义

log-bin=/var/log/mysql/mysql-bin.log

##### 为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存

binlog_cache_size=1M

##### 主从复制的格式(mixed,statement,row,默认格式是statement)

binlog_format=mixed

##### 二进制日志自动删除/过期的天数。默认值为0,表示不自动删除。

expire_logs_days=7

##### 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。

##### 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致

slave_skip_errors=1062

##### 如果需要同步函数或者存储过程

log_bin_trust_function_creators=true

3、重启数据库

3.1、创建数据同步用户并授予相应的权限

                  分配复制权限        可操作的数据库  用户      用户对应的服务器地址            密码

mysql>  grant replication slave on *.* to 'homestead'@'192.168.10.13' identified by 'secret';

Query OK, 0 rows affected, 1 warning (0.01 sec)

Tips:

在搭建mysql主主复制的时候,创建一个新的具有replicaion权限的新用户,sql命令如下:

mysql>grant replication slave on homestead.* to 'homestead'@'192.168.10.13' identified by 'secret';

提示错误:ERROR 1221 (HY000): Incorrect usage of DB GRANT and GLOBAL PRIVILEGES

错误的原因是因为,replication权限是一个全局权限,不可以指定在某一个库上,所以,把创建用户语句更改为如下即可:

mysql> grant replication slave on *.* to 'homestead'@'192.168.10.13' identified by 'secret';

Query OK, 0 rows affected (0.00 sec)

ok,一切正常,但是,为了安全起见,在创建新的用户的时候,最好指定登陆地址,不然别人拿着你的账号就要干坏事儿了,

虽然这个账号只具备replication权限,但是也是具有危险性的。所以,最后在执行下:

//mysql新设置用户或更改密码后需用flush privileges刷新MySQL的系统权限相关表,否则会出现拒绝访问,还有一种方法,就是重新启动mysql服务器,来使新设置生效。­

mysql> flush privileges;

3.2、刷新授权表信息

mysql> flush privileges;

3.3、查看MySQL有哪些用户及对应的ip

mysql> select  user,host from mysql.user;

mysql用户信息

3.4、查看position和mysql-bin(从机上需要用到这个position号和现在的日志文件)

mysql> show master status;

4、为保证Master和Slave的数据一致,我们采用主备份,从还原来实现初始数据一致

4.1、先临时锁表

mysql> flush tables with read lock;

Query OK, 0 rows affected (0.00 sec)

4.2、 这里我们实行全库备份,在实际中,我们可能只同步某一个库,那也可以只备份一个库

mysqldump -p3306 -u homestead -p --add-drop-table homestead > /home/vagrant/code/master-homestead.sql;

注意:实际生产环境中大数据量(超2G数据)的备份,建议不要使用mysqldump进行比分,因为会非常慢。此时推荐使用 XtraBackup进行备份。

4.3、解锁表

mysql> unlock tables;

Query OK, 0 rows affected (0.00 sec)

将Master上备份的数据远程传送到Slave上,以用于Slave配置时恢复数据

vagrant@homestead:~/code$ scp master-homestead.sql  [email protected]:/tmp/

The authenticity of host '192.168.10.13 (192.168.10.13)' can't be established.

ECDSA key fingerprint is SHA256:CFZaqzE7UkErH4SWREIdM+IJKT7RZK7gwr8TBiYL8LQ.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '192.168.10.13' (ECDSA) to the list of known hosts.

master-homestead.sql

5、修改Slave的配置文件(homestead)

vi /etc/mysql/mysql.conf.d/mysql.cnf

增加以下配置项

##### 设置server_id,一般设置为IP

server_id=13

##### 复制过滤:需要备份的数据库,输出binlog

binlog-do-db=homestead

#####复制过滤:不需要备份的数据库,不输出(mysql库一般不同步)

binlog-ignore-db=mysql

##### 开启二进制日志,以备Slave作为其它Slave的Master时使用

log-bin=edu-mysql-slave1-bin

##### 为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存

binlog_cache_size = 1M

##### 主从复制的格式(mixed,statement,row,默认格式是statement)

binlog_format=mixed

## 二进制日志自动删除/过期的天数。默认值为0,表示不自动删除。

expire_logs_days=7

##### 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。

##### 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致

slave_skip_errors=1062

##### relay_log配置中继日志

relay_log=/var/log/mysql/mysql-relay-slave-bin.log

##### log_slave_updates表示slave将复制事件写进自己的二进制日志

log_slave_updates=1

##### 防止改变数据(除了特殊的线程)

read_only=1

如果Slave为其它Slave的Master时,必须设置bin_log。在这里,我们开启了二进制日志,而且显式的命名(默认名称为hostname,但是,如果hostname改变则会出现问题)。

relay_log配置中继日志,log_slave_updates表示slave将复制事件写进自己的二进制日志。

当设置log_slave_updates时,你可以让slave扮演其它slave的master。此时,slave把SQL线程执行的事件写进行自己的二进制日志(binary log),然后,它的slave可以获取这些事件并执行它。

6、保存退出并且重启数据库服务

7、在Slave上创建相同的数据库

7.1导入数据库

mysql -uhomestead -p homestead < /tmp/master-homestead.sql;

7.2、登陆Slave数据库,添加相关参数

change master to master_host='192.168.10.11',master_user='homestead',master_password='secret',master_port=3306,master_log_file='mysql-bin.000003',master_log_pos =154,master_connect_retry=30;

上面执行的命令的解释:

    master_host='192.168.1.205'                  ## Master的IP地址

    master_user='repl'                            ## 用于同步数据的用户(在Master中授权的用户)

    master_password='roncoo.123'    ## 同步数据用户的密码

    master_port=3306                              ## Master数据库服务的端口

    master_log_file='edu-mysql-bin.000001'        ##指定Slave从哪个日志文件开始读复制数据(可在Master上使用show master status查看到日志文件名)

    master_log_pos=429                        ## 从哪个POSITION号开始读

    master_connect_retry=30  ##当重新建立主从连接时,如果连接建立失败,间隔多久后重试。单位为秒,默认设置为60秒,同步延迟调优参数。

7.3、 查看主从同步状态

mysql> show slave status\G;

    可看到Slave_IO_State为空, Slave_IO_Running和Slave_SQL_Running是No,表明Slave还没有开始复制过程。

7.4、 开启主从同步

mysql> start slave;

Query OK, 0 rows affected (0.00 sec)

7.5、 再查看主从同步状态

mysql> show slave status\G;

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: 192.168.10.11

Master_User: homestead

Master_Port: 3306

Connect_Retry: 30

Master_Log_File: mysql-bin.000003

Read_Master_Log_Pos: 3162

Relay_Log_File: mysql-relay-slave-bin.000002

Relay_Log_Pos: 2940

Relay_Master_Log_File: mysql-bin.000003

Slave_IO_Running: Yes

Slave_SQL_Running: No

Replicate_Do_DB:

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

Last_Errno: 1051

Last_Error: Error 'Unknown table 'homestead.total'' on query.                                                                                                                                                                                                Default database: 'homestead'. Query: 'DROP TABLE `total` /* generated by serve                                                                                                                                                                                              r */'

Skip_Counter: 0

Exec_Master_Log_Pos: 2774

Relay_Log_Space: 3541

Until_Condition: None

Until_Log_File:

Until_Log_Pos: 0

Master_SSL_Allowed: No

Master_SSL_CA_File:

Master_SSL_CA_Path:

Master_SSL_Cert:

Master_SSL_Cipher:

Master_SSL_Key:

Seconds_Behind_Master: NULL

Master_SSL_Verify_Server_Cert: No

Last_IO_Errno: 0

Last_IO_Error:

Last_SQL_Errno: 1051

Last_SQL_Error: Error 'Unknown table 'homestead.total'' on query.                                                                                                                                                                                                Default database: 'homestead'. Query: 'DROP TABLE `total` /* generated by serve                                                                                                                                                                                              r */'

Replicate_Ignore_Server_Ids:

Master_Server_Id: 11

Master_UUID: 8da81032-9fbe-11e7-be2d-080027a8df8b

Master_Info_File: /var/lib/mysql/master.info

SQL_Delay: 0

SQL_Remaining_Delay: NULL

Slave_SQL_Running_State:

Master_Retry_Count: 86400

Master_Bind:

Last_IO_Error_Timestamp:

Last_SQL_Error_Timestamp: 190311 07:45:51

Master_SSL_Crl:

Master_SSL_Crlpath:

Retrieved_Gtid_Set:

Executed_Gtid_Set:

Auto_Position: 0

Replicate_Rewrite_DB:

Channel_Name:

Master_TLS_Version:

1 row in set (0.00 sec)

ERROR:

No query specified

主要看以下两个参数,这两个参数如果是Yes就表示主从同步正常

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

7.6、可查看master和slave上线程的状态。在master上,可以看到slave的I/O线程创建的连接:

Master : mysql> show processlist\G;

1.row为处理slave的I/O线程的连接。

2.row为处理MySQL客户端连接线程。

3.row为处理本地命令行的线程。

7.7、查看Slave 的连接

mysql> show processlist\G;

*************************** 1. row ***************************

Id: 10

User: homestead

Host: 192.168.10.1:64038

db: NULL

Command: Sleep

Time: 6831

State:

Info: NULL

*************************** 2. row ***************************

Id: 14

User: system user

Host:

db: NULL

Command: Connect

Time: 5143

State: Waiting for master to send event

Info: NULL

*************************** 3. row ***************************

Id: 16

User: homestead

Host: 192.168.10.1:51022

db: homestead

Command: Sleep

Time: 5095

State:

Info: NULL

*************************** 4. row ***************************

Id: 17

User: homestead

Host: 192.168.10.1:51073

db: homestead

Command: Sleep

Time: 2580

State:

Info: NULL

*************************** 5. row ***************************

Id: 20

User: homestead

Host: localhost

db: NULL

Command: Query

Time: 0

State: starting

Info: show processlist

5 rows in set (0.00 sec)

ERROR:

No query specified

1.row为I/O线程状态。

2.row为SQL线程状态。

3.row为处理本地命令行的线程。

8、主从数据复制同步测试

  (1)在Master中的roncoo库上变更数据的同步测试;

    mysql> INSERT INTO `student` ( `name`, `age`, `sex`, `updated_at`, `created_at`) VALUES ( '主从复制测试', '18', '0', '1507780978', '1507780589');

  Master中添加完之后,登录Slave中查看数据是否已同步。

9、 测试过程中,如果遇到同步出错,可在Slave上重置主从复制设置(选操作):

(1) mysql> reset slave;

  注意:如果在Slave没做只读控制的情况下,千万不要在Slave中手动插入数据,那样数据就会不一致,主从就会断开,就需要重新配置了。

10、上面所搭建的是单向复制的主从,也是用的比较多的,而双向主从其实就是Master和Slave都开启日志功能,然后在Master执行授权用户(这里授权的是自己作为从服务器,也就是这里的IP地址是Master的IP地址),然后再在Master上进行chang master操作。

MySQL主从数据同步延迟问题的调优

基于局域网的Master/Slave机制在通常情况下已经可以满足“实时”备份的要求了。如果延迟比较大,可以从以下几个因素进行排查:

(1)网络延迟;

(2) Master负载过高;

(3) Slave负载过高;

一般的做法是使用多台Slave来分摊读请求,再单独配置一台Slave只作为备份用,不进行其他任何操作,就能相对最大限度地达到“实时”的要求了。

两个可以减少主从复制延迟的参数(按需配置):

MySQL可以指定3个参数,用于复制线程重连主库:--master-retry-count,--master-connect-retry,--slave-net-timeout。其中 master-connect-retry和 master-retry-count需要在 Change Master搭建主备复制时指定,而 slave-net-timeout是一个全局变量,可以在 MySQL运行时在线设置。具体的重试策略为:备库过了 slave-net-timeout秒还没有收到主库来的数据,它就会开始第一次重试。然后每过 master-connect-retry秒,备库会再次尝试重连主库。直到重试了 master-retry-count次,它才会放弃重试。如果重试的过程中,连上了主库,那么它认为当前主库是好的,又会开始 slave-net-timeout秒的等待。slave-net-timeout的默认值是 3600秒,master-connect-retry默认为 60秒,master-retry-count默认为 86400次。也就是说,如果主库一个小时都没有任何数据变更发送过来,备库才会尝试重连主库。这就是为什么在我们模拟的场景下,一个小时后,备库才会重连主库,继续同步数据变更的原因。

这样的话,如果你的主库上变更比较频繁,可以考虑将 slave-net-timeout设置的小一点,避免主库 Binlog dump线程终止了,无法将最新的更新推送过来。当然 slave-net-timeout设置的过小也有问题,这样会导致如果主库的变更确实比较少的时候,备库频繁的重新连接主库,造成资源浪费。

slave-net-timeout=seconds

参数说明:当Slave从Master数据库读取log数据失败后,等待多久重新建立连接并获取数据,单位为秒,默认设置为3600秒。

在做MySQL Slave的时候经常会遇到很多错误,需要根据具体原因跨过错误继续同步,但有时候是因为网络不稳定、网络闪断造成同步不正常,如果Slave机器非常多的情况下,一个一个登录服务器去stop slave、start slave变得无聊而且重复。从MySQL5.1开始支持的解决方案配置:

master-connect-retry=seconds

参数说明:在主服务器宕机或连接丢失的情况下,从服务器线程重新尝试连接主服务器之前睡眠的秒数。如果主服务器.info文件中的值可以读取则优先使用。如果未设置,默认值为60。

通常配置以上2个参数可以减少网络问题导致的主从数据同步延迟。

一般网络问题的错误是:

[ERROR] Error reading packet from server: Lost connection to MySQL server during query (server_errno=xxxx)

[ERROR] Slave I/O thread: Failed reading log event, reconnecting to retry, log ‘edu-mysql-bin.000256’  position 23456

原文参考:

你可能感兴趣的:(MySQL 主从复制)