MySQL 主从同步（一）

一、mysql主从同步概念说明

二、主从同步实战操作

三、主从同步实战相关资源

阅读完本文你的收获：

mysql 主从复制原理的是啥
如何实现 mysql 读写分离
如何解决 mysql 主从同步的延时问题

参考：

主从同步详解：https://juejin.cn/post/6920477753368117261

docker-compose实战：https://juejin.cn/post/6844904040216657927

laradock：https://github.com/laradock/laradock

一、mysql主从同步概念说明

MySQL 主从复制原理的是啥？

主库将变更写入 binlog 日志，然后从库连接到主库之后，从库有一个 IO 线程，将主库的 binlog 日志拷贝到自己本地，写入一个 relay 中继日志中。接着从库中有一个 SQL 线程会从中继日志读取 binlog，然后执行 binlog 日志中的内容，也就是在自己本地再次执行一遍 SQL，这样就可以保证自己跟主库的数据是一样的。

image.png

这里有一个非常重要的一点，就是从库同步主库数据的过程是串行化的，也就是说主库上并行的操作，在从库上会串行执行。所以这就是一个非常重要的点了，由于从库从主库拷贝日志以及串行执行 SQL 的特点，在高并发场景下，从库的数据一定会比主库慢一些，是有延时的。所以经常出现，刚写入主库的数据可能是读不到的，要过几十毫秒，甚至几百毫秒才能读取到。

而且这里还有另外一个问题，就是如果主库突然宕机，然后恰好数据还没同步到从库，那么有些数据可能在从库上是没有的，有些数据可能就丢失了。

所以 MySQL 实际上在这一块有两个机制，一个是半同步复制，用来解决主库数据丢失问题；一个是并行复制，用来解决主从同步延时问题。

主从节点使用 binglog 文件 + position 偏移量来定位主从同步的位置，从节点会保存其已接收到的偏移量，如果从节点发生宕机重启，则会自动从 position 的位置发起同步。

异步模式（默认方式）

异步模式下，主节点执行完客户端提交的事务后立即提交事务并返回给客户端，并不关心 log dump 线程是否成功地将将此次事务写进 binglog 并且发送给从库。假如执行事务的主线程提交事务后，log dump 线程还未来得及写入 binlog，此时系统宕机，则会造成 binglog 中没有保存刚才提交的事务，造成主从数据不一致。

优点：异步模式下，主线程不用关系同步操作，性能最好。

缺点：可能导致主从数据的不一致

半同步复制

也叫 semi-sync 复制，指的就是主库写入 binlog 日志之后，就会将强制此时立即将数据同步到从库，从库将日志写入自己本地的 relay log 之后，接着会返回一个 ack 给主库，主库接收到至少一个从库的 ack 之后才会认为写操作完成了。

优点：相比于异步模式，半同步方式一定程度上保证了数据同步的可靠性。

缺点：增加了主库响应客户端的延时，延时至少为一个 TCP/IP 的往返时间，即 binglog 发送给从库至收到从库的响应时间。

并行复制

指的是从库开启多个线程，并行读取 relay log 中不同库的日志，然后并行重放不同库的日志，这是库级别的并行。

优点：对比半同步复制方式，全同步复制方式数据一致性的可靠性进一步提高

缺点：执行事务时，主库需要等待所有的从库执行成功后才能返回，所以会大大提高主库的响应时间。

mysql 主从同步的延时

如果主从延迟较为严重，可以尝试以下方案

1、分库，将一个主库拆分为多个主库，每个主库的写并发就减少了几倍，此时主从延迟可以忽略不计。打开 MySQL 支持的并行复制，多个库并行复制。如果说某个库的写入并发就是特别高，单库写并发达到了 2000/s，并行复制还是没意义。

2、重构代码 : 重构代码，插入数据后，直接更新，不查询

3、若确实存在必须先插入，立马要求查询，然后立马就反过来执行一些操作，对这个查询设置直连主库(不推荐，这和读写分离的本意不是背道而驰？)

二、主从同步实战操作

参考laradock完成容器编排，因为主从库在一台服务器上，所以配置的3310,3312,3313端口映射到容器内部3306

ps:相关代码和资源在第三节

创建网络
因为我是使用的已有network，你们还需要多一步手动创建网络

docker network create laradock_backend

构建并启动容器

docker-compose up -d --build mysql-master-1  mysql-slave-1 mysql-slave-2

进入master容器，登录到mysql,查看binglog情况，确认log_bin为ON

# 进入容器
docker exec -it mysql-master-1 /bin/bash
# 登录mysql
mysql -uroot -proot

# 查看binglog, 确认 log_bin 为 ON
show variables like 'log_%';

image.png

创建同步用的账户并给账户授权

这里'slave'@'%' 让slave 可以在任何机器都可以登录，知道Slave节点IP 的话，建议使用IP，增加账号安全性。

# ---------- mysql5.7 ----------
grant file,select,replication slave on *.* to 'slave'@'%' identified by 'slave';

# ---------- mysql8.0 ----------
# 新版的mysql版本已经将创建账户和赋予权限的方式分开了，并且更换了默认加密方式
# 创建账户
CREATE USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY 'slave';
# 赋予权限
GRANT ALL PRIVILEGES ON *.* TO 'slave'@'%';

# 最后刷新一下权限
flush privileges;

再次确认一下新增的用户状态, 不对就修改一下

use mysql;
select Host,User,plugin from user;

# 已经存在了就去修改
# ALTER user 'slave'@'%' IDENTIFIED WITH mysql_native_password  BY 'slave';

image.png

查看Master状态

记录下File和Position,后面会用到

show master status;

image.png

新开一个命令行窗口，进入slave节点，登录mysql，

# 进入容器
docker exec -it mysql-slave-1 /bin/bash
# 登录mysql
mysql -uroot -proot

配置master的信息

change master to master_host='mysql-master-1',master_user='slave',master_password='slave',master_log_file='mysql-master-bin.000005',master_log_pos=541;

注意：【参数说明】需要修改为自己的配置：

master_host     ： 主节点IP, 由于mysql-master 和msql-slave都在同一个backend网路中，所以可以通过mysql-master名称访问到。docker 帮我们做了host解析。
master_user     ： 前面创建的用于同步的账号
master_password ： master节点登录密码
master_log_file ： master节点要同步的binlog文件名。
master_log_pos  ： 从binlong文件的哪个位置开始同步。

启停同步

stop slave;
start slave;

# 如果遇到报错：ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository
# 重置一下slave
reset slave;

查看主从同步状态

show slave status\G

Slave_IO_Running 和 Slave_SQL_Running: 两列的值都为"Yes"，这表明 Slave 的 I/O 和 SQL 线程都在正常运行。
Seconds_Behind_Master:表示延迟多少，一般情况为0。
到此主从同步已经实现，mysql-slave-2节点也是相同配置。

image.png

三、主从同步实战相关资源

|- docker-compose.yml
|- .env
|- mysql-master-1
|   |- Dockerfile
|   |- my.cnf
|   |- docker-entrypoint-initdb.d
|       |- createdb.sql.example
|
|- mysql-slave-1
|   |- Dockerfile
|   |- my.cnf
|   |- docker-entrypoint-initdb.d
|       |- createdb.sql.example
|- mysql-slave-2
|   |- Dockerfile
|   |- my.cnf
|   |- docker-entrypoint-initdb.d
|       |- createdb.sql.example

docker-compose.yml

version: '3'

networks:  #定义网路
 laradock_backend:
    external: true
   #driver: ${NETWORKS_DRIVER}
#-------------------------------------------------------------------
services:
  mysql-master-1: # Master 节点
    build:
      context: ./${MYSQL_PATH_MASTER_1}  #自定义镜像
      args:
        - MYSQL_VERSION=${MYSQL_VERSION}
    environment:
      - MYSQL_DATABASE=${MYSQL_DATABASE}  #默认创建数据库
      - MYSQL_USER=${MYSQL_USER}  #创建用户
      - MYSQL_PASSWORD=${MYSQL_PASSWORD}  #用户密码
      - MYSQL_ROOT_PASSWORD=${MYSQL_ROOT_PASSWORD} #root 用户秘密
      - TZ=${WORKSPACE_TIMEZONE}
    volumes:
      - "${DATA_PATH_HOST}/master_1:/var/lib/mysql"
      - "${MYSQL_ENTRYPOINT_INITDB}:/docker-entrypoint-initdb.d:"
    ports:
      - "${MYSQL_PORT_MASTER_1}:3306"
    container_name: mysql-master-1
    networks:
      - ${NETWORK}
#-------------------------------------------------------------------
  mysql-slave-1:  #Slave 节点
    build:
      context: ./${MYSQL_PATH_SLAVE_1}  #自定义镜像
      args:
        - MYSQL_VERSION=${MYSQL_VERSION}
    environment:
      - MYSQL_DATABASE=${MYSQL_DATABASE}  #默认创建数据库
      - MYSQL_USER=${MYSQL_USER}  #创建用户
      - MYSQL_PASSWORD=${MYSQL_PASSWORD}  #用户密码
      - MYSQL_ROOT_PASSWORD=${MYSQL_ROOT_PASSWORD} #root 用户秘密
      - TZ=${WORKSPACE_TIMEZONE}
    volumes:
      - "${DATA_PATH_HOST}/slave_1:/var/lib/mysql"
      - "${MYSQL_ENTRYPOINT_INITDB}:/docker-entrypoint-initdb.d"
    ports:
      - "${MYSQL_PORT_SLAVE_1}:3306"
    container_name: mysql-slave-1
    networks:
      - ${NETWORK}
#-------------------------------------------------------------------
  mysql-slave-2:  #Slave 节点
    build:
      context: ./${MYSQL_PATH_SLAVE_2}  #自定义镜像
      args:
        - MYSQL_VERSION=${MYSQL_VERSION}
    environment:
      - MYSQL_DATABASE=${MYSQL_DATABASE}  #默认创建数据库
      - MYSQL_USER=${MYSQL_USER}  #创建用户
      - MYSQL_PASSWORD=${MYSQL_PASSWORD}  #用户密码
      - MYSQL_ROOT_PASSWORD=${MYSQL_ROOT_PASSWORD} #root 用户秘密
      - TZ=${WORKSPACE_TIMEZONE}
    volumes:
      - "${DATA_PATH_HOST}/slave_2:/var/lib/mysql"
      - "${MYSQL_ENTRYPOINT_INITDB}:/docker-entrypoint-initdb.d"
    ports:
      - "${MYSQL_PORT_SLAVE_2}:3306"
    container_name: mysql-slave-2
    networks:
      - ${NETWORK}

.env

### DOCKER 配置 #################################################
NETWORK=laradock_backend
NETWORKS_DRIVER=bridge

WORKSPACE_TIMEZONE=UTC
DATA_PATH_HOST=./data

### MYSQL 配置 #################################################
MYSQL_VERSION=8.0
MYSQL_DATABASE=ebook
MYSQL_USER=sync
MYSQL_PASSWORD=sync
MYSQL_ROOT_PASSWORD=root
MYSQL_ENTRYPOINT_INITDB=./mysql/docker-entrypoint-initdb.d

### MYSQL-MASTER-1 配置 #################################################
MYSQL_PATH_MASTER_1=mysql-master-1
MYSQL_PORT_MASTER_1=3310

### MYSQL-SLAVE-1 配置 #################################################
MYSQL_PATH_SLAVE_1=mysql-slave-1
MYSQL_PORT_SLAVE_1=3312

### MYSQL-SLAVE-2 配置 #################################################
MYSQL_PATH_SLAVE_2=mysql-slave-2
MYSQL_PORT_SLAVE_2=3313

Dockerfile

ARG MYSQL_VERSION=latest
FROM mysql:${MYSQL_VERSION}

#####################################
# Set Timezone
#####################################

ARG TZ=UTC
ENV TZ ${TZ}

RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone && chown -R mysql:root /var/lib/mysql/
COPY my.cnf /etc/mysql/conf.d/my.cnf
CMD ["mysqld"]

EXPOSE 3306

mysql-master-1/my.cnf

# The MySQL  Client configuration file.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html

[mysql]

[mysqld]
sql-mode="STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION"
character-set-server=utf8

## 主库配置
## 设置server_id，一般设置为IP,保证唯一就好
server_id=1

# 开启binlog，名字可以随意取
log-bin=mysql-master-bin

## binlog日志格式,（mixed,statement,row，默认格式是statement）
binlog_format=row

## 日志自动删除日期,默认值为0，表示不自动删除。
expire_logs_days=7

## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

## 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）
binlog-ignore-db=mysql

#控制binlog的写入频率。每执行多少次事务写入一次(这个参数性能消耗很大，但可减小MySQL崩溃造成的损失)
sync_binlog = 1

#这个参数一般用在主主同步中，用来错开自增值, 防止键值冲突
auto_increment_offset = 1

#这个参数一般用在主主同步中，用来错开自增值, 防止键值冲突
auto_increment_increment = 1

#通过同步产生的变化将记录在自己的binlog中
log-slave-updates=ON

mysql-slave-1/my.cnf
ps:mysql-slave-2 只是 server_id=3

# The MySQL  Client configuration file.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html

[mysql]

[mysqld]
sql-mode="STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION"
character-set-server=utf8

## 主库配置
## 设置server_id，一般设置为IP,保证唯一就好
server_id=2

# 开启binlog，名字可以随意取
log-bin=mysql-slave-bin

## binlog日志格式,（mixed,statement,row，默认格式是statement）
binlog_format=row

## 日志自动删除日期,默认值为0，表示不自动删除。
expire_logs_days=7

## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

## 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）
binlog-ignore-db=mysql

#控制binlog的写入频率。每执行多少次事务写入一次(这个参数性能消耗很大，但可减小MySQL崩溃造成的损失)
sync_binlog = 1


# 加快事务处理速度，牺牲了一定的可靠性。由于Slave 是Master 的备份，所以即使Slave 服务崩溃或者断点丢失数据，也可以重新启动后从主库恢复。
sync_binlog = 0
innodb_flush_log_at_trx_commit = 0

# 只读，主从同步线程具有管理员权限，不受read_only控制，所以能够正常写入。
read_only=1

MySQL 主从同步（一）

阅读完本文你的收获：

一、mysql主从同步概念说明

MySQL 主从复制原理的是啥？

mysql 主从同步的延时

二、主从同步实战操作

三、主从同步实战相关资源

你可能感兴趣的:(MySQL 主从同步（一）)