mysql-mmm+amoeba+keepalived
架构简介:利用
mysql-mmm
来实现
mysql
的高可用,利用
amoeba
来实现读写分离,利用
keepalived
来实现
amoeba
程序的高可用。从而从整体上实现
mysql
的高可用行。
一、
MMM
简介:
MMM
即
Master-Master Replication Manager for MySQL
(
mysql
主主复制管理器)关于
mysql
主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件(在任何时候只有一个节点可以被写入),这个套件也能对居于标准的主从配置的任意数量的从服务器进行读负载均衡,所以你可以用它来在一组居于复制的服务器启动虚拟
ip
,除此之外,它还有实现数据备份、节点之间重新同步功能的脚本。
MySQL
本身没有提供
replication failover
的解决方案,通过
MMM
方案能实现服务器的故障转移,从而实现
mysql
的高可用。
MMM
不仅能提供浮动
IP
的功能,更牛的是如果当前的主服务器挂掉后,会将你后端的从自动转向新的主服务器进行同步复制,不用手工更改同步资料。
MMM
项目来自
Google
:
http://code.google.com/p/mysql-master-master
官方网站为:
http://mysql-mmm.org
Mmm
主要功能由下面三个脚本提供
l
mmm_mond
负责所有的监控工作的监控守护进程,决定节点的移除等等
l
mmm_agentd
运行在
mysql
服务器上的代理守护进程,通过简单远程服务集提供给监控节点
l
mmm_control
通过命令行管理
mmm_mond
进程
二、
mysql-mmm
架构的搭建
1、
先来看下本文的架构图:
当
master1
出现故障的时候,架构图会自动屏蔽
master1
,并自动将
slave1
和
slave2
更改成从
master2
更新,架构图变成如下:
2、
先介绍下本文的环境:
系统环境:
CentOS release 5.4
(
32bit
)
keepalived
我用了以下的虚拟IP,他们将会在被mmm分配,这些IP都是浮动的,当出现故障的时候会自动的转移到其他的可用服务器上。
ip
|
role
|
description
|
192.168.1.113
|
writer
|
你的应用程序应该连接到这个
ip
进行写操作
|
192.168.1.111
|
reader
|
你的应用程序应该链接到这些
ip
中的一个进行读操作
|
192.168.1.112
|
reader
|
192.168.1.114
|
reader
|
192.168.1.115
|
reader
|
192.168.1.170
|
Amoeba_vip
|
程序连接的
Ip,
实现
mysql
读写分离
|
mysql-mmm
架构配置简介:
u
在
server1
、
server2
上安装
mysql
,并配置为
master-master
架构(就是互为主从)
----------
配置很简单,就不对着部分进行详细解释,有问题的话请查看:
http://blog.chinaunix.net/u3/93755/showart.php?id=2213538
u
配置
server4
,
server5
从
server1
获取更新
------
这一步很简单,自行设置,有一点需要注意,就是设置同步不能设置浮动
IP
,要使用真实的
IP
。
u
在
server1
、
server2
、
server3
、
server4
、
server5
上安装
mmm
,并配置:
mmm_common.conf
、
mmm_agent.conf
以及
mmm_mon.conf
文件
3、
Mysql-mmm
实战
前提:
server1
和
server2
上已经配置好
mysql
主主同步,
server4
、
server5
设置好了利用
server1
为主服务器的主从同步
u
安装
mysql-mmm
(在
server1
,
server2
,
server3
,
server4
,
server5
上都要安装)
CentOS
软件仓库默认是不含这些软件的,必须要有
epel
这个包的支持。故我们必须先安装
epel
:
u
配置
mmm
代理和监控账号的权限
在
server1
,
server2
,
server4
,
server5
上分别执行:
GRANT REPLICATION CLIENT ON *.* TO 'mmm_monitor'@'192.168.1.%' IDENTIFIED BY 'monitor_password';
GRANT SUPER, REPLICATION CLIENT, PROCESS ON *.* TO 'mmm_agent'@'192.168.1.%' IDENTIFIED BY 'agent_password';
flush privileges;
u
配置
mysql-mmm
所有的配置选项都集合在了一个叫
/etc/mysql-mmm/mmm_common.conf
的单独文件中,系统中所有主机的该文件内容都是一样的
,
配置完后不要忘记了拷贝这个文件到所有的主机(包括监控主机)!,内容如下:
active_master_role writer
<host default>
cluster_interface eth0
pid_path /var/run/mysql-mmm/mmm_agentd.pid
bin_path /usr/libexec/mysql-mmm/
#
同步的帐号(这些要和前面设置的保持一致!)
replication_user replication
replication_password 123456 #
同步的密码
agent_user mmm_agent #mmm-agent
用户名
agent_password agent_password #mmm-agent
用户密码
</host>
<host db1>
ip 192.168.1.161 #db1
的
ip
mode master
peer db2
</host>
<host db2>
ip 192.168.1.162 #db2
的
ip
mode master
peer db1
</host>
<host db3>
ip 192.168.1.164 #
从
db3
的
ip
mode slave
</host>
<host db4>
ip 192.168.1.165 #
从
db4
的
ip
mode slave
</host>
<role writer>
hosts db1, db2
ips 192.168.1.113 #
设置写如的虚拟
IP
mode exclusive
</role>
<role reader>
hosts db1, db2
,
db
3,
db
4
ips 192.168.1.111, 192.168.1.112
,
192.168.1.11
4
, 192.168.1.11
5
#
设置读取的虚拟
IP
mode balanced
</role>
在数据库主机上我们需要编辑
/etc/mysql-mmm/mmm_agent.conf
文件,根据其他主机的不同更改
db1
的值(
db2
就将
db1
更改成
db2…….
):
include mmm_common.conf
this db1
在监控主机上我们需要编辑
/etc/mysql-mmm/mmm_mon.conf
文件:
include mmm_common.conf
<monitor>
ip 127.0.0.1
pid_path /var/run/mysql-mmm/mmm_mond.pid
bin_path /usr/libexec/mysql-mmm
status_path /var/lib/mysql-mmm/mmm_mond.status
ping_ips 192.168.1.161,192.168.1.162
,
192.168.1.16
4
,192.168.1.16
5
#
监控服务器
ip
auto_set_online 60
# The kill_host_bin does not exist by default, though the monitor will
# throw a warning about it missing. See the section 5.10 "Kill Host
# Functionality" in the PDF documentation.
#
# kill_host_bin /usr/libexec/mysql-mmm/monitor/kill_host
#
</monitor>
<host default>
monitor_user mmm_monitor #mmm_monitor
用户名
monitor_password monitor_password #mmm_monitor
密码
</host>
debug 0
u
启动
MMM
启动代理:
(在数据库服务器上
server1
、
2
)编辑
/etc/default/mysql-mmm-agent
来开启:
然后启动它:
/etc/init.d/mysql-mmm-agent start
启动监控(在监控机上):
/etc/init.d/mysql-mmm-monitor start
u
利用
mmm_control
监控
mysql
服务器状态:
[root@server3 ~]# mmm_control show
db1(192.168.1.161) master/ONLINE. Roles: reader(192.168.1.111), writer(192.168.1.113)
db2(192.168.1.162) master/ONLINE. Roles: reader(192.168.1.114)
db3(192.168.1.164) slave/ONLINE. Roles: reader(192.168.1.115)
db4(192.168.1.165) slave/ONLINE. Roles: reader(192.168.1.112)
u
测试看两个
mysql
服务器能否实现故障自动切换
停掉作为写的
db1
上的
mysql
,查看写的服务器会不会自动转移到
db2
上去
停掉几秒钟后用
mmm_control show
查看:
[root@server3 ~]# mmm_control show
db1(192.168.1.161) master/HARD_OFFLINE. Roles:
db2(192.168.1.162) master/ONLINE. Roles: reader(192.168.1.112), writer(192.168.1.113)
db3(192.168.1.164) slave/ONLINE. Roles: reader(192.168.1.114), reader(192.168.1.115)
db4(192.168.1.165) slave/ONLINE. Roles: reader(192.168.1.111)
我们可以看到已经把
db2
当作主写服务器
,
另外
server4
、
server5
原来是从
server1
更新的现在已经被
mmm
自动更改到从新的主服务器
server2
上更新了,很神奇!可以登录到
server4
、
server5
上用
show slave status\G;
命令查看!
再来看看
db1
恢复后会是什么情况:
[root@server3 ~]# mmm_control show
db1(192.168.1.161) master/ONLINE. Roles: reader(192.168.1.114)
db2(192.168.1.162) master/ONLINE. Roles: reader(192.168.1.112), writer(192.168.1.113)
db3(192.168.1.164) slave/ONLINE. Roles: reader(192.168.1.115)
db4(192.168.1.165) slave/ONLINE. Roles: reader(192.168.1.111)
我们可以看到当
db1
恢复后就充当
slave
的角色了!只有当
db2
挂了以后
db1
又会担当起主服务器的写入功能
发现个
bug
,不知道有没有人遇到过:有的时候会出现服务器恢复后,服务器的状态被设置为:
AWAITING_RECOVERY
,必须要手工执行
mmm_control set_online host
才能恢复正常,比如:有的时候我恢复
db1
后,出现如下:
[root@server3 ~]# mmm_control show
db1(192.168.1.161) master/AWAITING_RECOVERY. Roles:
db2(192.168.1.162) master/ONLINE. Roles: reader(192.168.1.112), writer(192.168.1.113)
db3(192.168.1.164) slave/ONLINE. Roles: reader(192.168.1.114), reader(192.168.1.115)
db4(192.168.1.165) slave/ONLINE. Roles: reader(192.168.1.111)
解决办法为利用
set_online
手工更改为在线状态:
[root@server3 ~]# mmm_control set_online db1
OK: State of 'db1' changed to ONLINE. Now you can wait some time and check its new roles!
[root@server3 ~]# mmm_control show
db1(192.168.1.161) master/ONLINE. Roles: reader(192.168.1.114)
db2(192.168.1.162) master/ONLINE. Roles: reader(192.168.1.112), writer(192.168.1.113)
db3(192.168.1.164) slave/ONLINE. Roles: reader(192.168.1.115)
db4(192.168.1.165) slave/ONLINE. Roles: reader(192.168.1.111)
解决这个问题还有一个办法就是将
auto_set_online
设置小点,默认是
60s
,设置成
10
看下会不会有改善?
u
mmm_control
命令简介
[root@server3 mysql-mmm]# mmm_control help
Valid commands are:
help - show this message
#
查看帮助信息
ping - ping monitor
#ping
监控
show - show status
#
查看状态信息
checks [<host>|all [<check>|all]] - show checks status
#
显示检查状态,包括(
ping
、
mysql
、
rep_threads
、
rep_backlog
)
set_online <host> - set host <host> online
#
设置某
host
为
online
状态
set_offline <host> - set host <host> offline
#
设置某
host
为
offline
状态
mode - print current mode.
#
打印当前的模式,是
ACTIVE
、
MANUAL
、
PASSIVE
?
#
默认
ACTIVE
模式
set_active - switch into active mode.
#
更改为
active
模式
set_manual - switch into manual mode.
#
更改为
manual
模式
set_passive - switch into passive mode.
#
更改为
passive
模式
move_role [--force] <role> <host> - move exclusive role <role> to host <host>
#
更改
host
的模式,比如更改处于
slave
的
mysql
数据库角色为
write
(Only use --force if you know what you are doing!)
set_ip <ip> <host> - set role with ip <ip> to host <host>
#
为
host
设置
ip
,只有
passive
模式的时候才允许更改!