高级篇十八、主从复制

1、主从复制概述

1.1 如何提升数据库并发能力

如果我们的目的在于提升数据库高并发访问的效率

• 那么首先考虑的是如何 优化SQL和索引 ，这种方式简单有效；
• 其次才是采用 缓存的策略 ，比如使用 Redis将热点数据保存在内存数据库中，提升读取的效率；
• 最后才是对数据库采用 主从架构 ，进行读写分离；

1.2 主从复制的作用

主从同步设计不仅可以提高数据库的吞吐量，还有以下 3 个方面的作用。

• 读写分离
  
• 数据备份
  
• 高可用性
  

2、主从复制的原理

Slave 会从 Master 读取 binlog 来进行数据同步。

2.1 原理剖析

三个线程
实际上主从同步的原理就是基于 binlog 进行数据同步的。在主从复制过程中，会基于 3 个线程 来操作，一个主库线程，两个从库线程

• log dump线程（Binlog dump thread） 是一个主库线程。当从库线程连接的时候， 主库可以将二进制日志发送给从库，当主库读取事件（Event）的时候，会在 Binlog 上 加锁 ，读取完成之后，再将锁释放掉。

• 从库 I/O 线程 会连接到主库，向主库发送请求更新 Binlog。这时从库的 I/O 线程就可以读取到主库的二进制日志转储线程发送的 Binlog 更新部分，并且拷贝到本地的中继日志 （Relay log）。

• 从库 SQL 线程 会读取从库中的中继日志，并且执行日志中的事件，将从库中的数据与主库保持同步

复制三步骤
步骤1： Master 将写操作记录到二进制日志（ binlog ）
步骤2： Slave 将 Master 的binary log events拷贝到它的中继日志（ relay log ）；
步骤3： Slave 重做中继日志中的事件，将改变应用到自己的数据库中。 MySQL复制是异步的且串行化的，而且重启后从 接入点 开始复制。

复制的问题
复制的最大问题： 延时

2.2 复制的基本原则

• 每个 Slave 只有一个 Master
• 每个 Slave 只能有一个唯一的服务器ID
• 每个 Master 可以有多个 Slave

3、一主一从架构搭建

一台 主机 用于处理所有 写请求 ，一台 从机 负责所有 读请求 ，架构图如下：

3.1 准备工作

1、准备 2台 CentOS 虚拟机
2、每台虚拟机上需要安装好MySQL (可以是MySQL8.0 )

克隆一台CentOS： 我们可以在一台CentOS上安装好MySQL，进而通过克隆的方式复制出1台包含MySQL的虚拟机

3.2 修改主机配置文件

建议mysql版本一致且后台以服务运行，主从所有配置项都配置在 [mysqld] 节点下，且都是小写字母。

vim /etc/my.cnf

具体参数配置如下：

# 必选
#[必须]主服务器唯一ID
server-id=1
#[必须]启用二进制日志,指名路径。比如：自己本地的路径/log/mysqlbin
log-bin=atguigu-bin

# 可选
#[可选] 0（默认）表示读写（主机），1表示只读（从机）
read-only=0
#设置日志文件保留的时长，单位是秒
binlog_expire_logs_seconds=6000
#控制单个二进制日志大小。此参数的最大和默认值是1GB
max_binlog_size=200M
#[可选]设置不要复制的数据库
binlog-ignore-db=test
#[可选]设置需要复制的数据库,默认全部记录。比如：binlog-do-db=atguigu_master_slave
binlog-do-db=需要复制的主数据库名字
#[可选]设置binlog格式
binlog_format=STATEMENT

重启mysql服务：systemctl restart mysqld;

3.3 修改从机配置文件

要求主从所有配置项都配置在 my.cnf 的 [mysqld] 栏位下，且都是小写字母。

具体参数配置如下：

#[必须]从服务器唯一ID
server-id=2

#[可选]启用中继日志
relay-log=mysql-relay

3.4 主机：建立账户并授权

如果使用的是MySQL8，需要如下的方式建立账户，并授权slave：

# 创建slave1用户
CREATE USER 'slave1'@'%' IDENTIFIED BY 'houchen';
# 将复制的权限赋予slave1用户
GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'%';
#此语句必须执行。否则见下面。
ALTER USER 'slave1'@'%' IDENTIFIED WITH mysql_native_password BY 'houchen';
flush privileges;

查询Master的状态，并记录下File和Position的值。

show master status;

记录下File和Position的值
注意：执行完此步骤后不要再操作主服务器MySQL，防止主服务器状态值变化。

3.5 从机：配置需要复制的主机

步骤1：从机上复制主机的命令

CHANGE MASTER TO
MASTER_HOST='主机的IP地址',
MASTER_USER='主机用户名',
MASTER_PASSWORD='主机用户名的密码',
MASTER_LOG_FILE='mysql-bin.具体数字',
MASTER_LOG_POS=具体值;

CHANGE MASTER TO MASTER_HOST='192.168.239.11',MASTER_USER='slave1',MASTER_PASSWORD='houchen',MASTER_LOG_FILE='atguigu-bin.000001',MASTER_LOG_POS=1135;

步骤2：

#启动slave同步
START SLAVE;

步骤3：查看同步状态：

SHOW SLAVE STATUS\G;

下面两个参数都是Yes，则说明主从配置成功！

3.6 测试

主机新建库、新建表、insert记录

查看从机：

3.7 停止主从同步

停止主从同步命令： stop slave;

4、搭建主从复制：双主双从

5、同步数据一致性问题

4.1 理解主从延迟问题

进行主从同步的内容是二进制日志，它是一个文件，在进行 网络传输 的过程中就一定会 存在主从延迟（比如 500ms），这样就可能造成用户在从库上读取的数据不是最新的数据，也就是主从同步中的 数据不一致性问题。

4.2 主从延迟问题原因

在网络正常的时候，日志从主库传给从库所需的时间是很短的。即，网络正常情况下，主备延迟的主要来源是备库接收完binlog和执行完这个事务之间的时间差。

主备延迟最直接的表现是，从库消费中继日志（relay log）的速度，比主库生产binlog的速度要慢。造成原因：

• 从库的机器性能比主库要差
• 从库的压力大
• 大事务的执行
  

4.3 如何减少主从延迟

若想要减少主从延迟的时间，可以采取下面的办法：

1. 降低多线程大事务并发的概率，优化业务逻辑
2. 优化SQL，避免慢SQL， 减少批量操作 ，建议写脚本以update-sleep这样的形式完成。
3. 提高从库机器的配置 ，减少主库写binlog和从库读binlog的效率差。
4. 尽量采用 短的链路 ，也就是主库和从库服务器的距离尽量要短，提升端口带宽，减少binlog传输的网络延时。
5. 实时性要求的业务读强制走主库，从库只做灾备，备份

4.4 如何解决一致性问题

如果操作的数据存储在同一个数据库中，那么对数据进行更新的时候，可以对记录加写锁，这样在读取的时候就不会发生数据不一致的情况。但这时从库的作用就是备份，并没有起到 读写分离 ，分担主库读压力 的作用

读写分离情况下，解决主从同步中数据不一致的问题， 就是解决主从之间 数据复制方式 的问题，如果按照数据一致性 从弱到强 来进行划分，有以下 3 种复制方式

方法 1：异步复制

方法 2：半同步复制

方法 3：组复制
异步复制和半同步复制都无法最终保证数据的一致性问题，半同步复制是通过判断从库响应的个数来决
定是否返回给客户端，虽然数据一致性相比于异步复制有提升，但仍然无法满足对数据一致性要求高的
场景，比如金融领域。MGR 很好地弥补了这两种复制模式的不足。

组复制技术，简称 MGR（MySQL Group Replication）。是 MySQL 在 5.7.17 版本中推出的一种新的数据复
制技术，这种复制技术是基于 Paxos 协议的状态机复制。

MGR 是如何工作的？

6、 知识延伸

6.1 读写分离

在主从架构的配置中，如果想要采取读写分离的策略，我们可以 自己编写程序 ，也可以通过第三方的中间件来实现。

6.2 主备切换

===========================================================================

待学习
1、如何进行主备切换？