heartbeat+drbd+mysql:实现最廉价的高可用组合

1.什么是DRBD

DRBD(Distributed Replicated Block Device)，DRBD 号称是 "网络 RAID"，开源软件，由 LINBIT 公司开发。

2.DRBD的主要功能

DRBD实际上是一种块设备的实现啦,主要被用于Linux平台下的高可用(HA)方案之中。它是由内核模块和相关程序而组成，通过网络通信来同步镜像整个设备，有点类似于一个网络RAID的功能。也就是说当读者你将数据写入本地的DRBD设备上的文件系统时,数据会同时被发送到网络中的另外一台主机之上啦，并以完全相同的形式记录在一个文件系统中（实际上文件系统的创建也是由DRBD的同步来实现的）。本地节点（主机）与远程节点（主机）的数据可以保证实时的同步，并保证IO的一致性。所以当本地节点的主机出现故障时,远程节点的主机上还会保留有一份完全相同的数据,可以继续使用，以达到高可用的目的。

3.DRBD的主要应用

如果主服务器当掉啦，造成的损失是不可估量的。要保证主服务器不间断服务，就需要对服务器实现冗余。在众多的实现服务器冗余的解决方案中，heartbeat为我们提供了廉价的、可伸缩的高可用集群方案啦。我们通过heartbeat + drbd在Linux下创建一个高可用(HA)的集群服务器，在高可用(HA)解决方案中使用DRBD的功能,可以代替使用一个共享盘阵存储设备。因为数据同时存在于本地主机和远程主机上,在遇到需要切换的时候,远程主机只需要使用它上面的那份备份数据,就可以继续提供服务了。

4.DRBD于mysql的关系

MySQL 与 LINBIT 达成了合作关系，大张旗鼓的搞了这个 "12 天 Scale-Out" 活动，也是这个商业合作驱动的吧。DRBD 助力 MySQL, 号称可以得到四个 9 的可靠性，这不低于任何一款商业数据库软件了。

DRBD 的出现的确对 MySQL 集群的可用性有很大提高。而且，有独到的特点，非常适合面向互联网的应用。因为是在存储层的数据块同步，很容易的做到应用层的 IO 负载均衡(备机承担一定的读压力)，不但支持数据库失败接管，还能做到 IP 失败接管，接管时间小于 30 秒，真是穷人的绝佳集群解决方案。

heartbeat的安装这里小编就不细讲了，读者可以看看的小编的博客http://wnqcmq.blog.51cto.com/5200614/1179525

以下的配置两个节点都必须一致,为了减少工作量，小编这里在主节点上配置，然后使用scp传输到备份节点

5.hosts文件以及主机名的配置

[root@primary ~]# vim /etc/hosts

192.168.110.6 primary.zzdx.com

192.168.110.7 standby.zzdx.com

[root@primary ~]# scp /etc/hosts 192.168.20.2:/etc

修改主机名

[root@primary ~]# vim /etc/sysconfig/network 

HOSTNAME=primary.zzdx.com //备份节点的主机名是standby.zzdx.com

6.drbd的安装

由于小编使用的是5.4的红帽啦，内核（2.6.18）中不包含drbd（2.6.33的内核中已经有了），小编这里安装相应的软件包和内核模块就是了

kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

drbd83-8.3.8-1.el5.centos.i386.rpm

使用rpm -ivh 安装就是了

drbd83安装后包含的文件

[root@primary ~]# rpm -ql drbd83

7.drbd配置

[root@primary ~]# cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc/

[root@primary ~]# cd /etc/drbd.d/

[root@primary drbd.d]# cp global_common.conf global_common.conf.bak

[root@primary drbd.d]# vim global_common.conf //修改成为下面的内容

global {

usage-count no;

# minor-count dialog-refresh disable-ip-verification

}

 

common {

protocol C;

 

startup {

wfc-timeout 120;

degr-wfc-timeout 120;

}

disk {

on-io-error detach;

fencing resource-only;

 

}

net {

cram-hmac-alg "sha1";

shared-secret "mydrbdlab";

}

syncer {

rate 100M;

}

 

}

8.定义资源

小编这里有一块2G的磁盘（/dev/sdb），那就作为块设备吧

[root@primary drbd.d]# vim mysql.res

resource mysql{

on primary.zzdx.com { # 每个主机的说明以”on”开头,后面是主机名在｛｝内的是配置

device /dev/drbd1; # 今后生成使用的设备名;不用和实际分区号一样.不过最好规范

disk /dev/sdb; # 该节点上用于存放数据的分区号

address 192.168.20.1:7898; # 该节点的IP地址

meta-disk internal; # meta data信息存放方式“网络”

}

 

on standby.zzdx.com { # 每个主机的说明以”on”开头,后面是主机名在｛｝内的是配置

device /dev/drbd1; # 今后生成使用的设备名;不用和实际分区号一样.不过最好规范

disk /dev/sdb; # 该节点上用于存放数据的分区号

address 192.168.20.2:7898; # 该节点的IP地址

meta-disk internal; # meta data信息存放方式“网络”

}

}

将配置文件、全局配置文件以及资源文件传输到备份节点上

[root@primary drbd.d]# scp global_common.conf mysql.res 192.168.20.2:/etc/drbd.d/

9.创建drbd资源

[root@primary drbd.d]# drbdadm create-md mysql //在备份节点上也要做

Writing meta data...

initializing activity log

NOT initialized bitmap

New drbd meta data block successfully created.

[root@standby drbd.d]# drbdadm create-md mysql

Writing meta data...

initializing activity log

NOT initialized bitmap

New drbd meta data block successfully created.

10.开启两个节点上的drbd服务

主节点上的状态

[root@primary ~]# service drbd start

Starting DRBD resources: [ 

mysql

Found valid meta data in the expected location, 2147479552 bytes into /dev/sdb.

d(mysql) s(mysql) n(mysql) ].

备份节点上的状态

[root@standby drbd.d]# service drbd start

Starting DRBD resources: [ 

mysql

Found valid meta data in the expected location, 2147479552 bytes into /dev/sdb.

d(mysql) s(mysql) n(mysql) ].

查看drbd状态

[root@primary drbd.d]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [email protected], 2010-06-04 08:04:16

 

1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----

ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:2097052

/proc/drbd/中显示了DRBD当前的状态.

ro：显示两台主机的状态.都是“备机/备机”.ds：是磁盘状态.都是“不一致/不一致”

11.主节点抢占资源

[root@primary drbd.d]# drbdsetup /dev/drbd1 primary -o //首次使用用这种方式

[root@primary drbd.d]# drbdadm primary all

[root@primary drbd.d]# cat /proc/drbd //这时候会同步更新数据的

version: 8.3.8 (api:88/proto:86-94)

GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [email protected], 2010-06-04 08:04:16

 

1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----

ns:780040 nr:0 dw:0 dr:788224 al:0 bm:47 lo:1 pe:2 ua:256 ap:0 ep:1 wo:b oos:1317052

[======>.............] sync'ed: 37.4% (1317052/2097052)K delay_probe: 47

finish: 0:00:23 speed: 55,672 (55,712) K/sec

ro：显示两台主机的状态.”主机/备机” ds：是磁盘状态.都是“upTodate/不一致”

可以看出[>....................] sync'ed: 正在同步了已经进度37.4%

 

12.格式化/dev/drbd1的文件系统，建立相应的挂载点，以便后续使用

[root@primary drbd.d]# mkfs -t ext3 /dev/drbd1

[root@primary ~]# mkdir /mnt/mysql/ //主节点上建立mysql的挂载点

修改两个节点mysql的配置文件，将数据目录修改为/mnt/mysql（小编这里的mysql是使用linux 5.4自带的）

[root@primary ~]# vim /etc/my.cnf

datadir=/mnt/mysql

13.heartbeat的配置

如果读者你的heartbeat的安装都是按照小编博客的步骤来的话，那么接下来的修改配置就很简单啦

首先修改ha.cf文件，将两个节点加进去（如果已经加过了就不用加了）

[root@primary ~]# cd /etc/ha.d/

[root@primary ha.d]# vim ha.cf

node primary.zzdx.com

node standby.zzdx.com

创建新的资源脚本（这些资源脚本都放在/etc/ha.d/resource.d/目录下啦），当然同样的，两端都服务器得有，作为资源让heartbeat控制

[root@primary ~]# cd /etc/ha.d/resource.d/

[root@primary resource.d]# vim usemysql

#!/bin/bash

unset LC_ALL ; export LC_ALL

unset LANGUAGE ; export LANGUAGE

prefix=/usr

exec_prefix=/usr

. /etc/ha.d/shellfuncs

 

function start(){

/sbin/drbdadm primary all #提升为primary

/bin/mount /dev/drbd1 /mnt/mysql #挂载

service mysqld start

}

 

function stop(){

service mysqld stop

/bin/umount /mnt/mysql #注意释放权限的时候必须先卸载

/sbin/drbdadm secondary all #降为secondary

}

case $1 in

start)

start

;;

 

stop)

stop

;;

 

*)

echo “Usage: $0 { start | stop }”

;;

 

esac

exit 0

[root@primary resource.d]# chmod a+x usemysql

[root@primary resource.d]# scp usemysql 192.168.20.2:/etc/ha.d/resource.d/

添加资源控制到配置文件

[root@primary resource.d]# cd ..

[root@primary ha.d]# vim haresources

primary.zzdx.com IPaddr::192.168.110.1/28/eth0/192.168.110.15 usemysql

[root@primary ~]# scp /etc/ha.d/haresources 192.168.20.2:/etc/ha.d/

启动heartbeat服务

[root@primary ~]# service heartbeat start

[root@standby ~]# service heartbeat start

14.测试并查看状态

在主节点上查看资源状态

在主节点上使用mysql，创建数据库文件，看看在当资源切换的时候是否能看见

[root@primary ~]# mysqladmin -u root password 123456 //初始化root密码

主节点主动释放资源，备份节点接管资源

[root@primary ~]# /usr/lib/heartbeat/hb_standby 

2013/06/15_08:32:51 Going standby [all].

查看primary节点日志状态

查看备份节点日志状态

在备份节点上使用mysql试试能不能查看到在主节点创建的数据库

看到了吧，成功了吧，呵呵

好了，到这里小编算是吧要想实现的东西整完了，读者自己试试吧，正如前面所说的，目前使用drbd是为了最少的花钱，但是效率上可想而知啦，个人觉得IP-SAN是比较折中的方案啦