上一篇博文我们使用keepalived+主从同步搭建了一个简单的MySQL高可用架构（详见https://blog.51cto.com/jiangjianlong/1981994），今天再分享下通过MMM搭建的实现MySQL读写分离的高可用群集。MMM (Master-Master Replication Manager for MySQL)是使用perl开发的MySQL主主复制管理器，可实现读写分离的高可用架构，对主库实现写请求的高可用，对从库实现读请求的负载均衡。本文的架构示意图如下：

MySQL 5.6通过MMM实现读写分离的高可用架构_第1张图片

一、部署环境

MySQL 5.6通过MMM实现读写分离的高可用架构_第2张图片

二、环境准备

1、配置好IP地址、主机名，关闭防火墙和selinux

2、分别为mysql-master01、mysql-master02、mysql-slave01、mysql-slave02安装MySQL 5.6，安装方法请参见本文之前的博文《MySQL 5.6.38在RedHat 6.5上通过RPM包安装》，需要注意的是要安装Mysql-devel的rpm包。

3、为5台服务器配置好hosts解析：

192.168.10.81 mysql-master01

192.168.10.82 mysql-master02

192.168.10.83 mysql-slave01

192.168.10.84 mysql-slave02

192.168.10.85 mysql-monitor

4、将RedHat 6.5的介质配置成本地yum源


三、配置两台master互为主从

1、编辑mysql-master01和mysql-master02的/etc/my.cnf文件并重启mysql服务：

mysql-master01：

[mysqld] 
server-id=1              #每台设置不同
log-bin=mysql-bin
[mysqld_safe]
auto_increment_increment=2  #字段一次递增多少 
auto_increment_offset=1    #自增字段的起始值,master02需设置为2 
replicate-do-db=all        #同步的数据库，多个用逗号隔开 
log-slave_updates        #当一个主故障，另一个立即接管 
sync-binlog=1            #每条自动更新，安全性高，默认是0 
log-error = /var/log/mysqld.log
read_only = 1

mysql-master02:

[mysqld] 
server-id=2              #每台设置不同 
log-bin=mysql-bin 
[mysqld_safe]
auto_increment_increment=2  #字段一次递增多少
auto_increment_offset=2    #自增字段的起始值,master02需设置为2
replicate-do-db=all        #同步的数据库，多个用逗号隔开
log-slave_updates       #当一个主故障，另一个立即接管
sync-binlog=1            #每条自动更新，安全性高，默认是0
log-error = /var/log/mysqld.log
read_only = 1


2、在mysql-master01上创建用于同步的账户repl，密码为123456，并查询master状态，记下file名称和posttion数值

mysql> GRANT REPLICATION SLAVE ON *.* to 'repl'@'%' identified by '123456';

mysql> show master status;

MySQL 5.6通过MMM实现读写分离的高可用架构_第3张图片


3、在mysql-master02上登录mysql，执行以下语句开启从服务器

mysql> change master to master_host='192.168.10.81',master_user='repl',master_password='123456',master_log_file='mysql-bin.000003',master_log_pos=318;

mysql> start slave;

mysql> show slave status\G

03.png

MySQL 5.6通过MMM实现读写分离的高可用架构_第4张图片

4、然后在mysql-master02上也创建用于同步的账户repl，密码为123456，并查询master状态，记下file名称和posttion数值

mysql> GRANT REPLICATION SLAVE ON *.* to 'repl'@'%' identified by '123456';

mysql> show master status;

MySQL 5.6通过MMM实现读写分离的高可用架构_第5张图片

5、在mysql-master01上登录mysql执行以下语句开启从服务器，注意这里master_host要填写mysql-master02的IP

mysql> change master to master_host='192.168.10.82',master_user='repl',master_password='123456',master_log_file='mysql-bin.000006',master_log_pos=318;  

mysql> start slave;

mysql> show slave status\G

MySQL 5.6通过MMM实现读写分离的高可用架构_第6张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第7张图片


6、这样两台master的互为主从就配置好了，下面我们来测试一下，先做mysql-master01上执行以下语句创建一个数据库、一个表并插入一行数据

mysql> create database names_test;

mysql> use names_test;

mysql> create table names(id int(5),name char(15));

mysql> insert into names values (01,'jiangjianlong');

mysql> select * from names;

MySQL 5.6通过MMM实现读写分离的高可用架构_第8张图片

7、然后到mysql-master02上查询一下，发现已经同步完成了，说明mysql-master02作为mysql-master01的从库复制正常

MySQL 5.6通过MMM实现读写分离的高可用架构_第9张图片

8、在mysql-master02上也创建一个数据库、一个表并插入一行数据

mysql> create database blogs_test;

mysql> use blogs_test;

mysql> create table blogs(id int(5),name char(35));

mysql> insert into blogs values (01,'jiangjianlong.blog.51cto.com');

mysql> select * from names;

MySQL 5.6通过MMM实现读写分离的高可用架构_第10张图片

9、在mysql-master01上查询一下，发现数据也已经同步过来，说明mysql-master01作为mysql-master02的从库也是复制正常

MySQL 5.6通过MMM实现读写分离的高可用架构_第11张图片


四、配置两台slave作为master01的从库

1、mysql-slave01和mysql-slave02分别使用以下my.cnf

mysql-slave01：

[mysqld]
server-id=3              #每台设置不同
log-bin=mysql-bin
 
[mysqld_safe]
replicate-do-db=all         
log-error = /var/log/mysqld.log
read_only = 1

mysql-slave02：

[mysqld]
server-id=4             #每台设置不同
log-bin=mysql-bin
 
[mysqld_safe]
replicate-do-db=all         
log-error = /var/log/mysqld.log
read_only = 1

2、根据在mysql-master01上执行show master status查出来的结果，在mysql-slave01和mysql-slave02上分别执行以下sql语句,开启从服务器：

mysql> change master to master_host='192.168.10.81',master_user='repl',master_password='123456',master_log_file='mysql-bin.000004',master_log_pos=120;

mysql> start slave;

mysql> show slave status\G

MySQL 5.6通过MMM实现读写分离的高可用架构_第12张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第13张图片


五、安装MMM要求的Perl模块

1、MMM对所有MySQL节点所要求的Perl模块如下：

MySQL 5.6通过MMM实现读写分离的高可用架构_第14张图片

2、以下以mysql-master01为例进行perl模块的安装，另外3台MySQL服务器同理。首先查看一下这些perl模块还有哪些没装：

perldoc -l Algorithm::Diff  DBI  DBD::mysql File::Basename File::stat Log::Dispatch Log::Log4perl Mail::Send Net::ARP Proc::Daemon Time::HiRes

MySQL 5.6通过MMM实现读写分离的高可用架构_第15张图片

3、部分缺失的perl模块在Redhat6.5的介质中有，可以通过本地yum源的方式安装

[root@mysql-master01 ~]# yum install perl-DBI perl-DBD-mysql perl-MailTools perl-Time-HiRes perl-CPAN -y

4、使用以下命令再查看一下安装结果

perldoc -l Algorithm::Diff  DBI  DBD::mysql File::Basename File::stat Log::Dispatch Log::Log4perl Mail::Send Net::ARP Proc::Daemon Time::HiRes

MySQL 5.6通过MMM实现读写分离的高可用架构_第16张图片

5、剩下的几个perl模块安装起来稍微麻烦一点，可以使用源码包编译安装，也可以使用cpan在线自动下载安装，并能处理各模块间的依赖关系。我一开始是尝试去下载源码包后手动进行编译安装，然而我在编译到Log::Dispatch时我直接放弃这种方式了，因为它依赖于很多个其它的perl模块，而这些模块可能又依赖于别的多个模块！如下图：

MySQL 5.6通过MMM实现读写分离的高可用架构_第17张图片

6、所以我决定使用cpan在线自动安装的方式，但需要服务器能连外网。由于使用cpan安装Algorithm::Diff时会告警提示YAML没有安装，因此我先使用cpan安装YAML,而安装YAML时会把它所依赖的Algorithm::Diff给装上

17.png

18.png

7、接着执行cpan Log::Dispatch安装Log::Dispatch，没想到在自动下载安装了50多个依赖模块后还是报错提示有多个依赖的模块缺失，如下图：

MySQL 5.6通过MMM实现读写分离的高可用架构_第18张图片

8、解决办法：依次使用cpan安装上图所示的缺少的模块，然后再执行cpan Log::Dispatch就能成功安装上，如果cpan安装Params::ValidationCompiler时报错，就单独下载这个模块的源码包进行编译安装

20.png

9、执行cpan Log::Log4perl安装Log::Log4perl模块、执行cpan Net::ARP安装Net::ARP模块、执行cpan Proc::Daemon安装Proc::Daemon模块

21.png

22.png

23.png

10、再来查看下所需perl模块的安装结果，这下已经全部都装好了

MySQL 5.6通过MMM实现读写分离的高可用架构_第19张图片

11、monitor服务器也对perl模块有要求，如下图：

MySQL 5.6通过MMM实现读写分离的高可用架构_第20张图片

12、同样是使用cpan安装这些模块，在此不再赘述。4台mysql服务器和monitor服务器的perl模块都安装完成后，我们就可以来安装配置MMM了


六、MySQL-MMM安装配置

1、MMM对MySQL用户的要求如下：

MySQL 5.6通过MMM实现读写分离的高可用架构_第21张图片

2、由于本文未使用到MMM tools，因此只需创建前3个用户，由于前面已经做好了主从同步，因此只需要在mysql-master01上创建即可同步到另外3台MySQL服务器

GRANT REPLICATION CLIENT ON *.* TO 'mmm_monitor'@'192.168.10.%' IDENTIFIED BY 'monitor'; 

GRANT SUPER,REPLICATION CLIENT,PROCESS ON *.* TO 'mmm_agent'@'192.168.10.%' IDENTIFIED BY'agent';

GRANT REPLICATION SLAVE ON *.* TO 'mmm_repl'@'192.168.10.%' IDENTIFIED BY'repl';

注：其实用户mmm_repl可以不用建，因为前面我们配置主从同步时已经建了一个repl用户可供使用

MySQL 5.6通过MMM实现读写分离的高可用架构_第22张图片

3、使用以下语句检查另外3台MySQL服务器是否已同步了这3个用户,可以看到都已经有了

select user,host from mysql.user where user in ('mmm_monitor','mmm_agent','mmm_repl');

MySQL 5.6通过MMM实现读写分离的高可用架构_第23张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第24张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第25张图片

4、在4台MySQL服务器和monitor服务器上编译安装MMM，下面以mysql-master01为例

[root@mysql-master01 ~]# tar -zxf mysql-mmm-2.2.1.tar.gz -C /usr/

[root@mysql-master01 ~]# cd /usr/mysql-mmm-2.2.1/

[root@mysql-master01 mysql-mmm-2.2.1]# make install

MySQL 5.6通过MMM实现读写分离的高可用架构_第26张图片

5、安装完成后，所有的配置文件都放到了/etc/mysql-mmm/下面。monitor服务器和MySQL服务器上都要包含一个共同的文件mmm_common.conf，内容如下：

[root@mysql-master01 mysql-mmm-2.2.1]# cat /etc/mysql-mmm/mmm_common.conf
active_master_role        writer
  

cluster_interface                eth0
 
pid_path                                /var/run/mmm_agentd.pid
bin_path                                /usr/lib/mysql-mmm/
 
    replication_user        mmm_repl
    replication_password    repl
 
agent_user                            mmm_agent
agent_password                        agent

 

ip                                          192.168.10.81
mode                                        master
peer                                        mysql-master02

 

ip                                          192.168.10.82
mode                                        master
peer                                        mysql-master01

 

ip                                          192.168.10.83
mode                                        slave

 

        ip                                   192.168.10.84
        mode                                 slave

 

hosts                                        mysql-master01, mysql-master02
ips                                          192.168.10.91
mode                                        exclusive

 

hosts                                        mysql-slave01, mysql-slave02
ips                                          192.168.10.93, 192.168.10.94
mode                                        balanced

[root@mysql-master01 mysql-mmm-2.2.1]#

6、在mysql-master01上编辑好该文件后，通过scp传输到另外4台服务器

MySQL 5.6通过MMM实现读写分离的高可用架构_第27张图片

7、4台MySQL服务器还有一个mmm_agent.conf文件需要修改主机名

MySQL 5.6通过MMM实现读写分离的高可用架构_第28张图片

8、在4台MySQL服务器的 /etc/init.d/mysql-mmm-agent的脚本文件的#!/bin/sh下面，加入如下内容 

source /root/.bash_profile，下面以mysql-master01为例

MySQL 5.6通过MMM实现读写分离的高可用架构_第29张图片

9、分别将4台MySQL服务器的mmm_agent启动脚本添加成系统服务并设置为自启动，下面以mysql-master01为例

#chkconfig --add mysql-mmm-agent

#chkconfig mysql-mmm-agent on

35.png

10、分别将4台MySQL服务器的mmm_agent启动，如果前面的Perl模块没有装好，可能会报错启动不了

/etc/init.d/mysql-mmm-agent start或service mysql-mmm-agent start

36.png

37.png

38.png

39.png

11、配置monitor服务器上的mmm_mon.conf文件

[root@mysql-monitor mysql-mmm]# cat/etc/mysql-mmm/mmm_mon.conf 
include
mmm_common.conf
 

        ip                  127.0.0.1
        pid_path               /var/run/mmm_mond.pid
        bin_path               /usr/lib/mysql-mmm/
        status_path              /var/lib/misc/mmm_mond.status
        ping_ips               192.168.10.81,192.168.10.82,192.168.10.83,192.168.10.84

 

        monitor_user                  mmm_monitor
        monitor_password                monitor

 

       check_period   5
       trap_period   10
       timeout       3
       max_backlog   86400

 
debug 0


MySQL 5.6通过MMM实现读写分离的高可用架构_第30张图片

12、在monitor服务器的 /etc/init.d/mysql-mmm-monitor的脚本文件的#!/bin/sh下面，加入如下内容 

source /root/.bash_profile

MySQL 5.6通过MMM实现读写分离的高可用架构_第31张图片

13、将mysql-mmm-monitor添加成系统服务并设置为自启动

#chkconfig --add mysql-mmm-monitor

#chkconfigmysql-mmm-monitor on

14、启动monitor服务器的mysql-mmm-monitor服务

42.png

15、在monitor服务器执行命令列出客户端状态，发现都是AWAITING状态

MySQL 5.6通过MMM实现读写分离的高可用架构_第32张图片

16、在monitor服务器执行命令mmm_control set_online mysql-master01，将mysql-master01上线，过一会再看它就变成online状态了

MySQL 5.6通过MMM实现读写分离的高可用架构_第33张图片

17、这时观察mysql-master01的IP发现已经成功添加了Write VIP

MySQL 5.6通过MMM实现读写分离的高可用架构_第34张图片

18、依次将mysql-master02和mysql-slave01以及mysql-slave02设置为online，查看slave的IP也发现Read VIP也加上了。MMM到此已配置完成，下面将进行高可用测试

MySQL 5.6通过MMM实现读写分离的高可用架构_第35张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第36张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第37张图片


七、MySQL-MMM主库高可用测试

1、将mysql-master01的mysql服务停止，模拟主库宕机，再查看IP会发现Write VIP已被自动移除

MySQL 5.6通过MMM实现读写分离的高可用架构_第38张图片

2、观察monitor服务器上的日志可以发现MMM检测到mysql-maste01故障并将Write VIP切换到了mysql-master02上

MySQL 5.6通过MMM实现读写分离的高可用架构_第39张图片

3、查看mysql-master02的IP，发现Write VIP确实已添加上了

MySQL 5.6通过MMM实现读写分离的高可用架构_第40张图片

4、这时两台slave之前配置的主库已经宕机并且主库已切换，那它们是否会自动将Master Host也切换为mysql-master02呢？查看下它们的slave状态，发现已自动切换

MySQL 5.6通过MMM实现读写分离的高可用架构_第41张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第42张图片

5、在monitor服务器上查看下客户端的状态，mysql-master01确实已离线，并且是能Ping通而mysql连接失败

MySQL 5.6通过MMM实现读写分离的高可用架构_第43张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第44张图片

6、再次启动master01的mysql服务，并设置为online，可以看到Write VIP并不会回切（除非当前的主库再次宕机）

MySQL 5.6通过MMM实现读写分离的高可用架构_第45张图片

7、观察到monitor服务器的日志如下：

image.png

8、再检查下客户端，已恢复正常

MySQL 5.6通过MMM实现读写分离的高可用架构_第46张图片


八、MySQL-MMM从库高可用测试

1、将mysql-slave01的mysql服务停止，模拟从库宕机，再查看IP会发现其上的Read VIP已被自动移除

image.png

MySQL 5.6通过MMM实现读写分离的高可用架构_第47张图片

2、观察到monitor服务器上的日志发现mysql-slave01的Read VIP已被切换到mysql-slave02上：

MySQL 5.6通过MMM实现读写分离的高可用架构_第48张图片

3、在monitor服务器上查看客户端状态，发现mysql-slave02确实绑定了2个Read VIP

image.png

4、检查mysql-slave02的IP，确实如此

MySQL 5.6通过MMM实现读写分离的高可用架构_第49张图片

5、将mysql-slave01的mysql服务恢复启动，并在monitor服务器将其设置为online，可以看到切换回去的Read VIP并不是最开始的那个VIP，Read VIP并非固定不变

MySQL 5.6通过MMM实现读写分离的高可用架构_第50张图片

6、观察monitor服务器的日志内容如下：

image.png

7、两个slave的IP信息现在如下：

MySQL 5.6通过MMM实现读写分离的高可用架构_第51张图片

MySQL 5.6通过MMM实现读写分离的高可用架构_第52张图片

至此，MySQL-MMM读写分离的高可用架构经简单测试均OK！以下是小结：

1、若master01主节点宕机，由master02备选主节点接管写角色，slave1,slave2指向新master2主库进行复制，slave01,slave02会自动change master到master02。

2、若master01主节点宕机，而master02同步又落后于master01时就变成了主可写状态，则这时的数据主无法保证一致性。

3、若master02,slave01,slave02延迟于master01主，而这个时master01宕机，slave01,slave02将会等待数据追上master01后，再重新指向新的主master02进行复制操作，这时的数据也无法保证同步的一致性。

4、对外提供读写的虚拟IP是由monitor程序控制。如果monitor没有启动那么db服务器不会被分配虚拟ip,但是如果已经分配好了虚拟ip，当monitor程序关闭了，则原先分配的虚拟ip不会关闭，只要不重启网络，外部程序还可以连接访问，这样能对monitor的可靠性要求降低一些，但是如果这时其中的某一个db服务器故障了就无法处理切换。因为agent程序受monitor程序的控制，处理主库切换、从库切换等操作。如果monitor进程关闭了那么agent进程就起不到什么作用，它本身不能处理故障。

5、monitor程序负责监控db服务器的状态，包括Mysql数据库、服务器是否运行、复制线程是否正常、主从延时等，以及控制agent程序处理故障。因此monitor是这个高可用架构中的核心角色，同时也是单点故障的风险点，应该能通过keepalived等方式将monitor也做成高可用，等以后有时间我再进行测试。

6、monitor监控端的配置文件参数“auto_set_online”可以让从故障中恢复的节点自动online，待有空测试下。群集中节点服务器的状态有三种分别是：HARD_OFFLINE→AWAITING_RECOVERY→online

7、默认monitor会控制mmm_agent会将writer db服务器read_only修改为OFF，其它的db服务器read_only修改为ON,所以为了严谨可以在所有的服务器的my.cnf文件中加入read_only=1，由monitor控制writer和read,root用户和复制用户不受read_only参数的影响。

本文出自江健龙的技术博客，转载请注明出处 https://blog.51cto.com/jiangjianlong/2073744