MySQL数据库 + Docker主从同步搭建配置

MySQL主从同步

一.前言

MySQL内建的复制功能是构建大型，高性能应用程序的基础。将MySQL的数据分布到多个系统上去，这种分布的机制，是通过将mysql的某一台主机的数据复制到其它主机（slave）上，并重新执行一遍来实现。

复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循坏，这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知的更新。

需注意的是：

• 在进行mysql复制时，所有对复制中的表的更新必须在主服务器上进行。否则必须要小心，以避免用户对主服器上的表进行更新与对从服务器上的表所进行更新之间的冲突。

（1）mysql支持哪些复制

• a.基于语句的复制：在主服务器上执行的sql语句，在从服务器上执行同样的语句。mysql默认采用基于语句的复制，效率边角高。一旦发现没法精确复制时，会自动选着基于行的复制。
• b.基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍。从mysql 5.0开始支持
• c.混合类型的复制：默认采用基于语句的复制，一旦发现基于语句的无法精确复制时，就会采用基于行的复制。

（2）mysql复制解决的问题

 a.数据分布（data distribution）

 b.负载平衡（load balancing）

 c.数据备份（backup），保证数据安全

 d.高可用性与容错行（high availability and failover）

 e.实现读写分离，缓解数据库压力

（3）mysql主从复制原理

master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中；slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件，同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致，最后I/O Thread和SQL Thread将进入睡眠状态，等待下一次被唤醒。

注意几点：
 1--master将操作语句记录到binlog日志中，然后授予slave远程连接的权限（master一定要开启binlog二进制日志功能；通常为了数据安全考虑，slave也开启binlog功能）。
 2--slave开启两个线程：IO线程和SQL线程。其中：IO线程负责读取master的binlog内容到中继日志relay log里；SQL线程负责从relay log日志里读出binlog内容，并更新到slave的数据库里，这样就能保证slave数据和 master数据保持一致了。
 3--Mysql复制至少需要两个Mysql的服务，当然Mysql服务可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。
 4--Mysql复制最好确保master和slave服务器上的Mysql版本相同（如果不能满足版本一致，那么要保证master主节点的版本低于slave从节点的版本）
 5--master和slave两节点间时间需同步

二.主从同步机制

1.主从同步介绍和优点

• 在多台数据服务器中，分为主服务器和从服务器。一台主服务器对应多台从服务器。
• 主服务器只负责写入数据，从服务器只负责同步主服务器的数据，并让外部程序读取数据。
• 主服务器写入数据后，即刻将写入数据的命令发送给从服务器，从而使得主从数据同步。
• 应用程序可以随机读取某一台从服务器的数据，这样就可以分摊读取数据的压力。
• 当从服务器不能工作时，整个系统将不受影响；当主服务器不能工作时，可以方便地从从服务器选举一台来当主服务器

使用主从同步的优点：

• 提高读写性能
  • 因为主从同步之后，数据写入和读取是在不同的服务器上进行的，而且可以通过增加从服务器来提高数据库的读取性能。
• 提高数据安全
  • 因为数据已复制到从服务器，可以在从服务器上备份而不破坏主服务器相应数据。
    

2.主从同步机制

MySQL服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。

如上图所示：
Mysql复制过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。
第二部分就是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。
SQL slave thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。
此外，在master中也有一个工作线程：和其它MySQL的连接一样，slave在master中打开一个连接也会使得master开始一个线程。复制过程有一个很重要的限制——复制在slave上是串行化的，也就是说master上的并行更新操作不能在slave上并行操作。

三. 配置

• 主服务器：ubuntu操作系统中的MySQL。
• 从服务器：Docker容器中的MySQL。

3.1 Docker安装运行MySQL从机

3.1.1. 获取MySQL镜像

主从同步尽量保证多台MySQL的版本相同或相近。

$ sudo docker image pull mysql:5.7.30
或
$ sudo docker load -i 文件路径/mysql_docker_5730.tar

3.1.2.指定MySQL从机配置文件

• 在使用Docker安装运行MySQL从机之前，需要准备好从机的配置文件。
• 为了快速准备从机的配置文件，我们直接把主机的配置文件拷贝到从机中。

$ cd ~
$ mkdir mysql_slave
$ cd mysql_slave
$ mkdir data
$ cp -r /etc/mysql/mysql.conf.d ./

3.1.3.修改MySQL从机配置文件

1. 编辑 ~/mysql_slave/mysql.conf.d/mysqld.cnf 文件。
2. 由于主从机都在同一个电脑中，所以我们选择使用不同的端口号区分主从机，从机端口号是8306。

# 从机端口号
port = 8306
# 关闭日志
general_log = 0
# 从机唯一编号
server-id = 2

3.1.4.Docker安装运行MySQL从机

MYSQL_ROOT_PASSWORD ：创建 root 用户的密码为 mysql。

$ sudo docker run --name mysql-slave -e MYSQL_ROOT_PASSWORD=mysql -d --network=host -v /home/ubuntu/mysql_slave/data:/var/lib/mysql -v /home/ubuntu/mysql_slave/mysql.conf.d:/etc/mysql/mysql.conf.d mysql:5.7.30

• 命令参数解释

3.15.测试从机是否创建成功

$ mysql -uroot -pmysql -h 127.0.0.1 --port=8306

3.2. 主从同步实现

3.2.1.配置主机（ubuntu中MySQL）

• 配置文件如有修改，需要重启主机。

sudo service mysql restart

# 开启日志
general_log_file = /var/log/mysql/mysql.log
general_log = 1
# 主机唯一编号
server-id = 1
# 二进制日志文件
log_bin = /var/log/mysql/mysql-bin.log

3.2.2.从机备份主机原有数据

• 在做主从同步时，如果从机需要主机上原有数据，就要先复制一份到从机。

# 1. 收集主机原有数据
$ mysqldump -uroot -pmysql --all-databases --lock-all-tables > ~/master_db.sql

# 2. 从机复制主机原有数据
$ mysql -uroot -pmysql -h127.0.0.1 --port=8306 < ~/master_db.sql

3.2.3.主从同步实现

1.创建用于从服务器同步数据的帐号

# 登录到主机
$ mysql –uroot –pmysql
# 创建从机账号
$ GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' identified by 'slave';
# 刷新权限
$ FLUSH PRIVILEGES;

2.展示ubuntu中MySQL主机的二进制日志信息

$ SHOW MASTER STATUS;

3.Docker中MySQL从机连接ubuntu中MySQL主机

# 登录到从机
$ mysql -uroot -pmysql -h 127.0.0.1 --port=8306
# 从机连接到主机
$ change master to master_host='127.0.0.1', master_user='slave', master_password='slave',master_log_file='mysql-bin.000250', master_log_pos=990250;
# 开启从机服务
$ start slave;
# 展示从机服务状态
$ show slave status \G

最后进行简单的测试：

• 在主机中新建一个数据库后，直接在从机查看是否存在即可。

总结：

简单总结：

1. 配置从机mysql文件
2. docker安装运行mysql从机
3. 主从同步实现配置操作
4. 从机同步主机数据
5. 测试主从同步机制

以上就是MySQL数据库 + Docker主从同步配置搭建的过程。

下面附上在不同服务器是实现主从同步配置的链接：

1. https://blog.51cto.com/sdwml/6101794
2. https://www.cnblogs.com/huanyue9987/p/15844103.html
3. https://blog.csdn.net/m0_63674789/article/details/124804013