mysql主从复制+mysql主从复制延迟解决方案

1. 为什么需要mysql主从复制

1. 数据热备

2. 在复杂的业务场景中, 可能因为某一条sql造成了锁表, 这样就会影响正常的业务运行。在复杂的业务场景中， 我们可以使用mysql主从复制， 主库负责写， 从库负责读这样即使主库出现了锁表的场景通过从库读的业务也可以保证正常运行。

3. 架构扩展。 业务访问量越来越大， io访问频率过高， 单机无法满足需求， 此时做多库存储降低单机的磁盘io访问频率，从而提高单机io的性能。

2. 什么是主从复制

主从复制是指数据从一个mysql主节点复制到一个或者多个从节点。mysql 默认是异步复制的方式, 从节点可以复制主节点中的所有数据或者指定的库或者表.

3. 主从复制原理

1. 主库开启binlog, 将数据和表结构的改变记录在二进制文件binlog中
2. slave 会在一定的时间间隔内对master的二进制文件进行探测是否改变, 如果改变则开启一个 io Thread 请求master的 binlog
3. 同时master会为每一 io thread 开一个 dump Thread, 用于向其传输二进制文件(binlog), 并保存到slave的中继日志(relay log)中.
4. slave 启动sql Thread 从中继日志(relay log)中读取二进制数据 在本地进行重放, 使得slave 和 master数据保持一致. 最后 slave 的 io Thread 和 sql Thread 进入睡眠状态等待再次被唤醒.

即:

1. master 的dump Thread根据slave的请求, 将本地的binlog以events的方式发送给 IO Thread
2. slave IO Thread 接收到binlog events后保存到中继日志(relay log)中, 传过来的信息会记录在master.info文件中.
3. slave sql Thread获取中继日志中的内容进行重发, 并把应用过的记录到relay-log.info中, 默认情况下已经应用过的relay会自动被清理

注意:

1. master 将操作语句记录在bin log中, 授权slave远程访问的权限.
2. master和slave节点的时间需要同步

4. mysql主从复制的具体操作步骤

1. 准备两台mysql, 可以在同一台机上也可以在不同的机上.
2. 开启主节点的binlog, 在/etc/my.cnf 文件的 mysqld 下添加如下内容

# 开启 BinLog日志
log-bin=mysql-bin
# 服务器的唯一id, 默认是 1, 一般去ip最后一段
server-id=13

3. 修改从节点的 /etc/my.cnf文件

# 开启 BinLog日志, 从节点可以开启binlog日志 也可以不开启, 我这里是开启了.
log-bin=mysql-bin
# 服务器的唯一id, 默认是 1, 一般去ip最后一段
server-id=14

4. 重启master和slave
5. 登录master执行 show master status 命令查看binlog日志文件和偏移量.
   
   image.png
6. 登录从库通过 change master to 语句连接master.

CHANGE MASTER TO MASTER_HOST = 'ip或者域名', MASTER_USER = '用户名',MASTER_PASSWORD = '密码', MASTER_PORT = 端口, MASTER_LOG_FILE='binlog文件名', MASTER_LOG_POS=偏移量;

7. 启动slave, 执行如下命令

start slave

8. 执行 show slave status \G; 得到如下结果便是启动成功
   
   image.png

5. Mysql主从同步延迟分析

Mysql 主从同步都是单线程的, master所有的DDL和DML都会写入binlog中, 由于binlog是顺序读写, 所以效率很高, slave的sql Thread将master的DDL和DML操作事件都在slave中重发. DDL和DML 的IO操作是随机的, 不是顺序的, 所以成本要高很多, 另一方面由于SQL Thread也是单线程, 当master并发高的时候,产生的DML数量超出了slaveSQL Thread的处理速度, 或者当slave有大型的query语句产生了锁, 那么延迟就产生了.

解决方案:

1. 业务的持久化层的实现采用分库架构, mysql服务器可以平行扩展, 分散压力
2. 单个主库, 多个从库, 主写从读
3. 服务的基础架构在业务层和持久化层间加入memcache或者redis构成的cache层. 降低mysql的读写压力

4.不同的业务的mysql放在不同的物理机上,分散压力.

5. 使用更加好的硬件设备
6. mysql5.7 之后使用MTS并发复制技术, 永久解决复制延迟问题