MySQL 主从复制与读写分离

目录

一、主从复制

1、MySQL支持的复制类型

2、主从复制的工作原理

3、主从复制的工作过程

4、MySQL主从复制延迟及解决思路

二、读写分离

1、读写分离的意义

2、读写分离的应用场景

3、常见的 MySQL 读写分离分为两种

三、主从复制案例演示（异步复制）

1、MYSQL主从服务器时间同步

2、主服务器的mysql配置

3、从服务器的mysql配置

4、验证主从复制效果 ​编辑

四、读写分离案例演示（使用Amoeba）

1、moeba服务器配置 192.168.80.7

2、 客户端安装mariadb数据库 192.168.80.11

3、测试读写分离

五、总结

1、主从复制的工作过程

2、数据库主从数据不一致解决方案

3、MySQL的优化方法

4、注意事项

---

一、主从复制

       在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync（文件同步应用），但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据、语句做备份。

1、MySQL支持的复制类型

1）STATEMENT∶基于语句的复制。在服务器上执行SQL语句，在从服务器上执行同样的语句，mysgl默认采用基于语句的复制，执行效率高。

###虽然效率较高但是高并发情况下可能精确度不够

2）ROW∶基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。

###虽然拥有很高的精确度，但是读写效率较低

3）MIXED∶混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制

###结合两种类型的特点，比较实用

2、主从复制的工作原理

1）集群中的Master主服务器会开启二进制日志（bin log）用来记录更新的数据。

2）slave从服务器会每隔一段时间对主服务器的二进制日志进行探测是否发生改变（根据二进制文件的偏移量判断），如果有改变就开启一个I/O线程请求主服务器的二进制时间

3）主服务器会为每个I/O线程启动一个dump线程，用来向从服务器发送二进制事件，从服务器将接收到的二进制文件保存到本地的中继日志（Relay log）中。

4）随后slave从服务器会启动SQL线程读取中继日志里面的二进制日志，在本地进行重放，解析成SQL语句逐一执行，使数据与master主服务器保持一致性，执行结束后I/O线程和SQL线程都会进行睡眠状态等待下一次操作的执行。

3、主从复制的工作过程

Master节点需要开启二进制日志，Slave节点需要开启中继日志。

1）Master 节点将数据的改变记录成二进制日志（bin log） ，当Master上的数据发生改变时（增删改），则将其改变写入二进制日志中。

2）Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/O线程请求Master的二进制事件。（请求二进制数据）

3）同时Master 节点为每个I/O线程启动一个dump线程，用于通知和向其发送二进制事件，I/O线程接收到bin-log内容后，将内容保存至slave节点本地的中继日志（Relay log）中，Slave节点将启动SQL线程从中继日志中读取二进制事件，在本地重放，即解析成sql 语句逐一执行，使得其数据和Master节点的保持一致。最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

两个日志和三个线程：

两个日志：二进制日志（bin log） 、中继日志（Relay log）

三个线程：I/O线程、dump线程、SQL线程

4、MySQL主从复制延迟及解决思路

1）master服务器高并发，形成大量事务

从库优化Mysql参数。比如增大innodb_buffer_pool_size，该参数定义了In弄DB存储引擎的表数据和索引数据的最大内存缓冲区大小，让更多操作在Mysql内存中完成，减少磁盘操作。

2）网络波动，延迟

从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了i/o方面性。

3）主从硬件设备差异过大导致（如cpu主频、内存io、硬盘io）

从库使用SSD磁盘（固态硬盘）

4）本来就不是同步复制、而是异步复制

网络优化，避免跨机房实现同步（减小网络延迟）

二、读写分离

       读写分离的原理就是让主数据库处理事务性增、改、删操作（TNSEBT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

1、读写分离的意义

因为数据库的"写"（写10000条数据可能要3分钟）操作是比较耗时的。

但是数据库的"读"（读10000条数据可能只要5秒钟）。

所以读写分离，解决的是，并发环境中数据库的写入，影响了查询的效率。

2、读写分离的应用场景

       数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。简单来说就是数据库使用率较高，读的多，写的少的情况。

3、常见的 MySQL 读写分离分为两种

1）基于程序代码内部实现

在代码中根据select、insert进行路由分类，这类方法也是目前生产环境应用最广泛的。

优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支; 缺点是需要开发人员来实现，运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2）基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

1）MySQL-Proxy：MySQL-Proxy为MySQL开源项目，通过其自带的lua脚本进行SQL判断。

2）Atlas：是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysgl业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。

3）Amoeba：由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

由于使用MySQL Proxy需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy内置变量和MySQL Protocol 的人来说是非常困难的。

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

三、主从复制案例演示（异步复制）

实验环境：

Master 服务器：192.168.80.8，mysql5.7

Slave1 服务器：192.168.80.3，mysql5.7

Slave2 服务器：192.168.80.5，mysql5.7

实验步骤：

每台服务器关闭防火墙和selinux 

1、MYSQL主从服务器时间同步

1）主服务器使用本地时钟源

#安装时间同步工具（本地设置时钟源）
[root@master ~]# yum install -y ntp
 ​
#修改ntp配置文件，在末尾加入
[root@master ~]# vim /etc/ntp.conf
server 127.127.80.0              #设置本地时钟源，注意修改网段（80是网段）
fudge 127.127.80.0 stratum 8     #设置时间层级为8（限制在15以内）
 ​
#开启ntpd
[root@master ~]# systemctl start ntpd

2）两台从服务器同步主服务器的时间

#安装时间同步工具
yum install -y ntp
#开启ntpd
systemctl start ntpd
 ​
#和主服务器进行时间同步
/usr/sbin/ntpdate 192.168.80.8
 ​
#设置定时任务，每30分钟同步一次
crontab -e  
*/30 * * * * /usr/sbin/ntpdate 192.168.80.8

2、主服务器的mysql配置

修改配置文件，创建一个同步账号授权给从数据库使用。

[root@master ~]# vim /etc/my.cnf
[mysqld]
......
server-id = 1            #指定服务ID号，master和两台slave都要不同
log-bin=mysql-bin        #添加，主服务器开启二进制日志
binlog_format = MIXED    #指定二进制日志(binlog)的记录格式为MIXED
log-slave-updates=true   #添加，允许slave从master复制数据时可以写入到自己的二进制日志
expire_logs_days = 7     #设置二进制日志文件过期时间，默认值为0，表示logs不过期
max_binlog_size = 500M   #设置二进制日志限制大小，如果超出给定值，日志就会发生滚动，默认值是1GB
 ​
#重启服务
[root@master ~]# systemctl restart mysqld

[root@master ~]# mysql -u root -p 123123
#给从服务器授权
grant replication slave on *.* to 'slave'@'192.168.80.%' identified by 'abc123';  

flush privileges;       #刷新权限

show master status;     #查看主服务器状态

3、从服务器的mysql配置

Slave1 服务器：192.168.80.3，mysql5.7

Slave2 服务器：192.168.80.5，mysql5.7

#修改配置文件
[root@slave1 ~]# vim /etc/my.cnf
[mysqld]
......
server-id = 2            #修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin  #添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index   #添加，定义中继日志索引文件的位置和名称，一般和relay-log在同一目录
relay_log_recovery = 1   #选配项
#当 slave 从库宕机后，假如 relay-log 损坏了，导致一部分中继日志没有处理，则自动放弃所有未执行的 relay-log，并且重新从 master 上获取日志，这样就保证了 relay-log 的完整性。默认情况下该功能是关闭的，将 relay_log_recovery 的值设置为 1 时， 可在 slave 从库上开启该功能，建议开启。
 ​
#重启服务
[root@slave1 ~]# systemctl restart mysqld     
 ​
#登录数据库，进行同步设置
[root@slave1 ~]# mysql -u root -p
CHANGE master to master_host='192.168.80.8',master_user='slave',master_password='abc123',master_log_file='mysql-bin.000001',master_log_pos=601;     
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致
 ​
start slave;                #启动同步，如有报错执行 reset slave;
 ​
 show slave status\G         #查看 Slave 状态
 ##确保 IO 和 SQL 线程都是 Yes，代表同步正常。
 Slave_IO_Running: Yes               #负责与主机的IO通信
 Slave_SQL_Running: Yes              #负责自己的slave mysql进程
 ​
 ##一般 "Slave_IO_Running: No" 的可能原因：
 1. 网络不通 
 2. my.cnf配置有问题（server-id重复）
 3. 密码、file文件名、pos偏移量不对 
 4. 防火墙没有关闭 

Slave2 服务器也是同样配置，注意配置文件中 server-id 要和前面两台不同

4、验证主从复制效果 

四、读写分离案例演示（使用Amoeba）

Master 服务器：192.168.80.8

Slave1 服务器：192.168.80.3

Slave2 服务器：192.168.80.5

Amoeba 服务器：192.168.80.7

客户端：192.168.80.11

1、moeba服务器配置 192.168.80.7

安装java环境

因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用

如果已经拥有openjdk需要先卸载再进行安装

#先将jdk的二进制文件上传到/opt/目录下，之后复制到/usr/local/目录下
[root@Amo ~]# cd /opt/
[root@Amo opt]# cp jdk-6u14-linux-x64.bin /usr/local/
[root@Amo opt]# cd /usr/local/
[root@Amo local]# chmod +x jdk-6u14-linux-x64.bin     #为二进制文件增加执行权限
[root@Amo local]# ./jdk-6u14-linux-x64.bin
##按yes，按enter
 ​
[root@Amo local]# mv jdk1.6.0_14/ /usr/local/jdk1.6     #将jdk目录重命名
 ​
#添加环境变量
[root@Amo local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
 ​
[root@Amo local]# source /etc/profile     #刷新文件，使立即生效
[root@Amo local]# java -version           #查看jdk版本

安装Amoeba软件

#创建Amoeba的解压目录
[root@Amo ~]# mkdir /usr/local/amoeba/
#将Amoeba安装包上传到/opt/目录，解压安装包
[root@Amo opt]# cd /opt/
[root@Amo opt]# tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
#增加目录权限
[root@Amo opt]# chmod -R 755 /usr/local/amoeba/
#开启Amoeba
[root@Amo opt]# /usr/local/amoeba/bin/amoeba      #如显示amoeba start|stop说明安装成功

配置 Amoeba读写分离，两个 Slave 读负载均衡

#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问。注意：这里授权的用户名和密码，会在下一步写入数据库配置文件。
grant all on *.* to amo@'192.168.80.%' identified by '123123';

#再回到amoeba服务器配置amoeba服务：
[root@Amo opt]# cd /usr/local/amoeba/conf/
 ​
#备份配置文件，修改amoeba配置文件
[root@Amo conf]# cp amoeba.xml amoeba.xml.bak
[root@Amo conf]# vim amoeba.xml

#备份数据库配置文件，之后修改数据库配置文件dbServers.xml
[root@Amo conf]# cp dbServers.xml dbServers.xml.bak
[root@Amo conf]# vim dbServers.xml 

验证结果 

[root@Amo conf]# /usr/local/amoeba/bin/amoeba start &   #后台启动Amoeba软件，按ctrl+c 返回
[root@Amo conf]# netstat -anpt | grep java   #查看8066端口是否开启，默认端口为TCP 8066

2、 客户端安装mariadb数据库（192.168.80.11）

[root@tt ~]# yum install -y mariadb-server mariadb   #安装mariadb数据库
[root@tt ~]# systemctl start mariadb.service         #启动mariadb
 ​
 ​
#客户端通过amoeba服务器登录数据库，之后向库中写入数据：
mysql -u amoeba -p123123 -h 192.168.80.7 -P8066        
use uma;
create table class(id int,name char(10));
#通过amoeba服务器代理访问mysql ，再通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从--从服务器

3、测试读写分离

//在两台slave服务器上，关闭同步：
stop slave;                 #关闭同步
use uma;
 ​
//在slave1上写入数据：
insert into class values('1','zhangsan');
 ​
//在slave2上写入数据：
insert into class values('2','lisi');
 ​
//在master服务器上写入数据：
insert into class values('3','wangwu');
 ​
//在客户端上查看数据：
use uma;
select * from class;        
#客户端会分别向slave1和slave2读取数据（轮询），显示的只有在两个从服务器上添加的数据，没有在主服务器上添加的数据。说明读写是分离的，只从slave中读取数据。
 ​
insert into class values('4','qianqi',);    //客户端插入数据，只有主服务器上有此数据
 ​
//在两个从服务器上执行 start slave; 即可实现同步主服务器中添加的数据
start slave;             #开启同步
select * from class; 

slave1关闭同步，之后向class表中插入数据：

在master服务器上写入数据：

在客户端上查看数据：

slave服务器开启同步，即可同步主服务器中添加的数据：

五、总结

1、主从复制的工作过程

Master节点需要开启二进制日志，Slave节点需要开启中继日志。

1）Master 节点将数据的改变记录成二进制日志（bin log） ，当Master上的数据发生改变时（增删改），则将其改变写入二进制日志中。

2）Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/O线程请求Master的二进制事件。（请求二进制数据）

3）同时Master 节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至slave节点本地的中继日志（Relay log）中，，Slave节点将启动SQL线程从中继日志中读取二进制事件，在本地重放，即解析成sql 语句逐一执行，使得其数据和Master节点的保持一致。最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

2、数据库主从数据不一致解决方案

方法一：忽略错误后，继续同步

       该方法适用于主从库数据相差不大，或者要求数据可以不完全统一的情况，数据要求不严格的情况。

方式二：重新做主从，完全同步

       该方法适用于主从库数据相差较大，或者要求数据完全统一的情况。

3、MySQL的优化方法

• 从库优化Mysql参数。比如增大innodb_buffer_pool_size，让更多操作在Mysql内存中完成，减少磁盘操作。
• 从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了I/O方面性。
• 从库使用SSD磁盘。
• 网络优化，避免跨机房实现同步。

4、注意事项

• 每个master可以有多个slave。
• 每个slave只能有一个master。
• 每个slave只能有一个唯一的服务器ID（server-id）。
• master一定要开启binlog二进制日志功能；通常为了数据安全，slave也开启binlog功能。