MySQL主从复制与读写分离

目录

概述

什么是读写分离?

为什么要读写分离呢?

什么时候要读写分离?

主从复制与读写分离

mysql支持的复制类型

主从复制

主从复制的工作过程

MySQL主从复制的几个同步模式

主从复制操作（异步复制）

MySQL主从复制延迟原因和优化方法

读写分离

MySQL读写分离原理

读写分离方案

读写分离操作（使用Amoeba）

---

概述

单台MySQL在安全性、高可用性和高并发方面都无法满足实际的需求，就需要配置多台主从数据库服务器以实现读写分离

什么是读写分离?

读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ，而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

为什么要读写分离呢?

因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。
但是数据库的“读”（读10000条数据可能只要5秒钟）；
所以读写分离，解决的是，数据库的写入，影响了查询的效率。

作用：

• 可以分担数据库压力，提高性能
• 避免数据库的写入影响查询的效率

什么时候要读写分离?

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

在数据库使用较多时，且查询的操作多，更新数据的操作少的场景下会使用读写分离。

主从复制与读写分离

在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。

因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync（文件同步工具），但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的（二进制）数据、语句做备份。

读写分离基于主从复制实现。
主从复制就是对数据库的二进制日志中的数据、语句做备份复制。

mysql支持的复制类型

mysql支持的复制类型，即二进制日志格式：

• STATEMENT：基于SQL语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制（5.7版本之前）。
  • 优点：执行效率高
  • 缺点：高并发的情况可能会出现执行顺序的误差，事务的死锁
• ROW：基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。（5.7版本之后默认采用ROW模式）
  • 优点：精确
  • 缺点：但效率低，保存的文件会更大
• MIXED：混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。更智能，所以大部分情况下使用MIXED。

主从复制

主从复制的工作过程

Master节点（主节点）需要开启二进制日志，Slave节点（从节点）需要开启中继日志。

1. Master 节点将数据的改变记录成二进制日志（bin log） ，当Master上的数据发生改变时（增删改），则将其改变写入二进制日志中。

2. Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/O线程请求Master的二进制事件。（请求二进制数据）

3. 同时Master 节点为每个I/O线程启动一个dump线程，用于通知和向其发送二进制事件。

4. I/O线程接收到bin-log内容后，将内容保存至slave节点本地的中继日志（Relay log）中。

5. Slave节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，即解析成sql 语句逐一执行，使得其数据和Master节点的保持一致。

6. 最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

两个日志和三个线程：

• 两个日志：
  • 二进制日志（bin log）
  • 中继日志（Relay log）
• 三个线程：
  • I/O线程
  • dump线程
  • SQL线程

注：

• 中继日志通常会位于 OS 缓存中，所以中继日志的开销很小。
• 复制过程有一个很重要的限制，即复制在 Slave上是串行化的，也就是说 Master上的并行更新操作不能在 Slave上并行操作。
• 半同步复制，会多一个ack确认线程（ack collector thread），专门用于接收slave 的反馈信息（收集slave节点返回的ack信息）。

MySQL主从复制的几个同步模式

• 异步复制（Asynchronous replication）

MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

• 全同步复制（Fully synchronous replication）

指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

• 半同步复制（Semisynchronous replication）

介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

主从复制操作（异步复制）

准备工作：

• Master服务器（mysq15.7）：192.168.44.20
• Slave1服务器（mysq15.7）：192.168.44.30
• Slave2服务器（mysq15.7）：192.168.44.40
• 关闭防火墙和selinux

MySQL主从服务器时间同步

主服务器配置

• 由于使用的是桌面系统，默认情况下ntp和ntpdate已经安装。如果没有安装，可通过yum来安装

  

• 修改配置文件/etc/ntp.conf，修改结束后启动

  
  • 如果用在线源

从服务器配置

• 启动ntpd，与主服务器时间同步

  

• 设置为计划性任务

  

 

 

主服务器MySQL配置

• 修改主服务器配置文件/etc/my.cnf，重启服务

  

• 登入MySQL数据库，给从服务器授权（用户名为myslave，密码为123456）

  

 

 

 

从服务器MySQL配置

• 修改从服务器配置文件/etc/my.cnf，重启服务

  

• 配置同步

  

 

一般 "Slave_IO_Running: No" 的可能性：

1. 网络不通
2. my.cnf配置有问题（server-id重复）
3. 密码、file文件名、pos偏移量不对
4. 防火墙没有关闭

验证结果

 

• 主服务器中创建数据库和表，并插入数据

  

• 从服务器中查看，能看到主服务器新建的数据库和表

  

• 注：从服务器修改的数据不能同步到主服务器

  

 

MySQL主从复制延迟原因和优化方法

主从复制延迟原因：

1. master服务器高并发，形成大量事务。
2. 网络延迟。
3. 主从硬件设备导致（cpu主频、内存IO、硬盘IO）。
4. 是同步复制，而不是异步复制。

优化方法：

• 从库优化Mysql参数。比如增大innodb_buffer_pool_size，让更多操作在Mysql内存中完成，减少磁盘操作。
• 从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了I/O方面性。
• 从库使用SSD磁盘。
• 网络优化，避免跨机房实现同步。

读写分离

MySQL读写分离原理

• 读写分离就是只在主服务器上写（create、insert、update、delete等事务性操作），只在从服务器上读（select）。
• 基本的原理是让主数据库处理事务性操作，而从数据库处理select查询
• 数据库复制被用来把主数据库上事务性操作导致的变更，同步到集群中的从数据库

读写分离方案

基于程序代码内部实现

在代码中根据select、insert进行路由分类，这类方法也是目前生产环境应用最广泛的。

优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支（成本低）；缺点是需要开发人员来实现，运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。（需要添加额外设备，成本较高，但通用性较好，由运维人员维护）

（1）MySQL-Proxy。MySQL-Proxy为MysQL开源项目，通过其自带的lua脚本进行SQL判断。

（2）Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MysQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几千亿条。支持事物以及存储过程。

（3）Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
Amoeba是基于JDK1.5的版本开发的，所以不建议使用太高的版本，用1.5或1.6即可。

（4）Mycat。是一款流行的基于Java语言编写的数据库中间件，是一个实现了MySq1协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

由于使用MysQLProxy需要写大量的ua脚本，这些lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol的人来说是非常困难的。

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

读写分离操作（使用Amoeba）

准备工作：

• Master服务器（mysq15.7）：192.168.44.20
• Slave1服务器（mysq15.7）：192.168.44.30
• Slave2服务器（mysq15.7）：192.168.44.40
• Amoeba服务器（jdk1.6、Amoeba）：192.168.44.50
• 客户端服务器（mariadb）：192.168.44.100
• 关闭防火墙和selinux

操作过程

1. 安装JDK

   • 先将jdk的二进制文件上传到/opt/目录下，之后复制到/usr/local/目录下，赋予权限后执行该二进制文件

     

   • /etc/profile中添加环境变量，再加载配置文件

     

    

2. 安装 Amoeba软件

   • local目录下创建amoeba目录，将amoeba压缩包解压到该目录下

     

   • /etc/profile中添加amoeba环境变量，再加载配置文件

     

    

3. 配置 Amoeba读写分离，两个 Slave 读负载均衡

   • 先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问。注意：这里授权的用户名和密码，会在下一步写入数据库配置文件。

     

   • 再回到amoeba服务器配置amoeba服务

     

   • 修改数据库配置文件dbServers.xml

     

   • 启动amoeba

     

    

    

4. 客户端安装mariadb数据库

   • 安装并启动mariadb

     

   • 进行远程登录，可查询到相关数据库

     

   • 客户端创建表

     

    

    

    

5. 测试读写分离

   • 在两台slave服务器上，关闭同步，然后在主服务器和两台从服务器分别添加数据

     

   • 客户端查看表内容

     

   • slave1开启同步，即可实现同步主服务器中添加的数据

     

   • slave1关闭同步，客户端插入数据