heartbeat+drbd+mysql实现MySQL高可用
系统环境:
CentOS6.4-x86_64: node3.xxx.com(192.168.200.13/24)、node4.xxx.com(192.168.200.14/24)、VIP(192.168.200.20/24),两台服务器都是单网卡的.
软件及版本:
1、heartbeat-3.0.4-2.el6.x86_64
2、drbd-8.4.3-33.el6.x86_64
3、mysql-5.6.10-linux-glibc2.5-x86_64
一、软件部署:
1、drbd的安装需要安装两个包:drbd-8.4.3-33.el6.x86_64.rpm、drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm
# rpm -ivh drbd-*
2、heartbeat的安装需要安装的包:heartbeat、heartbeat-devel、heartbeat-pils、heartbeat-stonith，这些包可以通过epel源进行安装
# rpm -ivh epel-release-6-8.noarch.rpm # yum install heartbeat heartbeat-devel heartbeat-stonith heartbeat-pils
3、MySQL的安装有源码包安装、二进制包(rpm包)安装、通用包，这里为了方便使用的是MySQL通用包mysql-5.6.10-linux-glibc2.5-x86_64，然后进行初始化，简单设置下配置文件即可使用,但数据库的初始化要在配置好drbd后才进行,因为要把MySQL的数据存放在drbd分区上
二、软件配置:
1、drbd配置:首先可以把/etc/drbd.d/global_common.conf修改为如下配置
global {
usage-count no;
}
common {
handlers {
pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
split-brain "/usr/lib/drbd/notify-split-brain.sh root";
out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
}
syncer {rate 200M;}
}
然后在/etc/drbd.d目录下添加一个资源配置文件,资源配置文件内容如下:
resource mydb {
protocol C;
startup {
outdated-wfc-timeout 100;
wfc-timeout 120;
degr-wfc-timeout 120;
}
net {
cram-hmac-alg "sha1";
shared-secret "Mysql-Ha";
}
disk {
on-io-error detach;
fencing resource-only;
}
device /dev/drbd0;
on node3.xxx.com {
meta-disk internal;
address 192.168.200.13:7801;
disk /dev/sdb1;
}
on node4.xxx.com {
meta-disk internal;
address 192.168.200.14:7801;
disk /dev/sdb1;
}
}
上面的配置文件在两台服务器都是一样的，在一台配置好后，再复制到另外一台即可.配置文件配置好后，接下来是启动drbd了,但在启动之前要drbdadm create-md all来初化drbd磁盘的元数据,然后再启动drbd,drbd的启动要同时在两台服务器启动,操作过程如下:
两台服务器执行下面操作 # drbdadm create-md all # service drbd start
2、上面的drbd启动完成，而且没有报错，接下来要做的是格式化drbd文件系统,建立好数据库的mysql帐号,创建drbd文件系统的挂载目录,初始化数据库
把其中一台服务器提升为drbd的主服务器 #drbdadm primary all 或 # drbdadm -- --overwrite-data-of-peer primary all # mkfs -t ext4 /dev/drbd0 # mkdir /data/drbd # mount /dev/drbd0 /data/drbd # useradd -r mysql # mkdir /data/drbd/mysql # chown mysql:mysql /data/drbd/mysql # cd /usr/local && ln -s mysql-5.6.10-linux-glibc2.5-x86_64 mysql # cd mysql && ./mysql_install_db --user=mysql --datadir=/data/drbd/mysql --basedir=/usr/local/mysql # cp ./support-files/mysql.server /etc/init.d/mysqld # service mysqld start
至此如果mysql正常启动后,DRBD设备切换角色,再启动mysql,正常的话，就可以进行下面的通过heartbeat来实现mysql出现故障时drbd角色自动切换
2、heartbeat的配置:首先在其中一台服务器创建修改配置文件，然后再复制到另外一台服务器即可.
# cd /etc/ha.d
# cp /usr/share/doc/heartbeat-3.0.4/{ha.cf,haresources,authkeys} ./
ha.cf修改后的配置如下:
logfile /var/log/ha-log
logfacility local0
keepalive 2
deadtime 10
bcast eth0 # Linux
auto_failback off
node node3.xxx.com
node node4.xxx.com
haaresources修改后的内容如下:
node3.xxx.com IPaddr::192.168.200.20/24/eth0 drbd::start drbddisk::mydb Filesystem::/dev/drbd0::/data/drbd::ext4 mysqld
authkeys修改后的内容如下:
auth 2
2 sha1 abc!
这里需要特别说明的是,我在这里遇到两个问题，
1) ha.cf里面的心跳信息传播方式如果选择ucast会有如下报错导致服务启动不 了,在网上查资料说是内核得升级才能解决问题:
Mar 17 14:34:59 node3.xxx.com heartbeat: [24573]: ERROR: glib: ucast: error setting option SO_REUSEPORT(w): Protocol not available
Mar 17 14:34:59 node3.xxx.com heartbeat: [24573]: ERROR: make_io_childpair: cannot open ucast eth0
2) 在启动heartbeat服务之前,我没有启动drbd服务,导致下面的错误产生:
ResourceManager(default)[28960]: 2014/03/17_14:49:47 ERROR: Return code 1 from /etc/ha.d/resource.d/drbddisk
上面的问题解决后就是测试mysql故障后,资源是否会转移,到此我的测试已经通过的了。