基于DRBD实现MySQL高可用

DRBD：分布式复制块设备

DRBD---Distributed Replicated Block Device 是一种基于Linux的软件组件， 它是由内核模块和相关程序而组成的，通过网络镜像促进共享存储系统的替换。也就是说：当你将数据写入本地的DRBD设备上的文件系统时，数据会同时被发送到网络中的另外一台主机之上，并以完全相同的形式记录在一个文件系统中（实际上文件系统的创建也是由DRBD的同步来实现的）。本地节点（主机）与远程节点（主机）的数据可以保证 实时的同步，并保证IO的一致性。所以当本地节点的主机出现故障时，远程节点的主机上还会保留有一份完全相同的数据，可以继续使用，以达到高可用的目的。

 

DRBD的工作原理图：

 

下面我们基于DRBD来实现MySQL高可用的目的

环境：Red Hat Enterprise Linux Server release 5.8 

节点1:172.16.9.2 node2.test.com

节点2:172.16.9.3 node3.test.com

 

配置过程：

一、配置高可用的前提

 

1、主机名和'uname -n'的结果保持一致

Node2:

sed -i 's@\(HOSTNAME=\).*@\1node2.test.com@g'

hostname node2.test.com

 

Node3：

sed -i 's@\(HOSTNAME=\).*@\1node3.test.com@g'

hostname node3.test.com

 

2、双方可以解析彼此的主机名：2节点都要配置

vim /etc/hosts
172.16.9.2      node2.test.com      node2
172.16.9.3      node3.test.com      node3

3、建立双机互信：2节点上都要配置

ssh-keygen -t rsa -P ""
ssh-copy-id -i /root/.ssh/id_rsa.pub dr2  root@node3

4、时间同步：

date '12011340';ssh node3 'date 12011340'

5、在两节点上分别创建一个磁盘分区以供之后使用（这里不再给出集体步骤）

注：2节点磁盘分区大小必须保持一致

 

二、安装drbd所需的rpm包

drbd共有两部分组成：内核模块和用户空间的管理工具

内核模块相关包：最新版本：drbd83-8.3.13

管理工具相关包：对应版本：kmod-drbd83-8.3.13

下载地址为：http://mirrors.sohu.com/centos/5.8/extras/i386/RPMS/

 

rpm -ivh drbd83-8.3.13-2.el5.centos.i386.rpm kmod-drbd83-8.3.13-1.el5.centos.i686.rpm 

 

提供配置文件，将原来的文件覆盖

cp /usr/share/doc/drbd83-8.3.13/drbd.conf /etc

 

配置/etc/drbd.d/global-common.conf，修改为对应以下内容

global {
        usage-count no;
        # minor-count dialog-refresh disable-ip-verification
}

##########中间没做修改，为默认###############

        disk {
                on-io-error detach;
                #fencing resource-only;
        }

        net {
                cram-hmac-alg "sha1";
                shared-secret "mydrbdlab";
        }

        syncer {
                rate 1000M;
        }
}

定义一个资源mydrbd；

resource mydrbd {
        on node2.test.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 172.16.9.2:7789;
        meta-disk internal;
        }
        on node3.test.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 172.16.9.3:7789;
        meta-disk internal;
        }
}

配置的文件全部同步到另外一个节点之上

scp -r /etc/drbd.* node3:/etc/

初始化资源并启动服务(2节点都要配置)

drbdadm create-md mydrbd
service drbd start

查看启动状态

drbd-overview
0:mydrbd  Connected Secondary/Secondary Inconsistent/Inconsistent C r-----

查看状态，同步已经开始

[root@node2 ~]# drbd-overview
  0:mydrbd  SyncTarget Secondary/Secondary Inconsistent/UpToDate C r-----
    [=>..................] sync'ed: 13.9% (4120/4776)M

将当前节点设置为主节点

drbdsetup /dev/drbd0 primary –o

再次查看状态

[root@node2 ~]# drbd-overview
  0:mydrbd  Connected Primary/Secondary UpToDate/UpToDate C r-----

当前节点已经是主节点

 

对drbd设备进行格式化（只能在主节点上进行）

mke2fs -j -L DRBD /dev/drbd0

一切配置完成就可以挂载使用了

 

三、安装配置mysql（这些步骤全部在主节点上完成）

这里使用的是绿色版mysql-5.5.28-linux2.6-i686.tar.gz

解压到/usr/local路径下

tar xvf mysql-5.5.28-linux2.6-i686.tar.gz -C /usr/local/

创建挂载drbd设备的目录及mysql用户

mkdir /data/mydata -pv
groupadd -r -g 333 mysql
useradd -r -g 333 -u 333 mysql
chown -R mysql:mysql /data/mydata

挂载drbd设备

mount /dev/drbd0 /data/mydata

配置mysql

cd /usr/local
ln -sv mysql-5.5.28-linux2.6-i686 mysql
cd mysql
chown -R root:mysql .

初始化mysql

scripts/mysql_install_db --user=myql --datadir=/data/mydata

提供脚本和配置文件

cp support-files/mysql.server /etc/rc.d/init.d/mysqld
cp support-files/my-large.cnf /data/mydata/my.cnf

编辑两个文件，在里面添加

datadir=/data/mydata

提供mysql的路径

vim /etc/profile.d/mysql.sh
export PATH=$PATH:/usr/local/mysql/bin

source /etc/profile.d/mysql.sh   #使之生效

 

一切配置完毕，启动mysql服务

service mysqld start

进入mysql，手动创建一个数据库（方便后续测试）

退出mysql，并关闭服务，不让其开机自动启动

service mysqld stop
chkconfig mysqld off

切换主备节点，在另一个节点上配置mysql（注:不必再一次初始化mysql了）

挂载drbd设备，配置mysql过程和第一个节点一样，配置后可以登录mysql看下是否有刚刚创建的数据库；如果一切正常，停止mysql服务，不让其自动启动。

 

四、配置高可用服务（这里采用corosync + pacemaker)

 

安装高可用所需要的rpm包：下载地址：http://clusterlabs.org/rpm/

cluster-glue-1.0.6-1.6.el5.i386.rpm      

libesmtp-1.0.4-5.el5.i386.rpm

cluster-glue-libs-1.0.6-1.6.el5.i386.rpm  

pacemaker-1.1.5-1.1.el5.i386.rpm

corosync-1.2.7-1.1.el5.i386.rpm           

pacemaker-cts-1.1.5-1.1.el5.i386.rpm

corosynclib-1.2.7-1.1.el5.i386.rpm        

pacemaker-libs-1.1.5-1.1.el5.i386.rpm

heartbeat-3.0.3-2.3.el5.i386.rpm          

perl-TimeDate-1.16-5.el5.noarch.rpm

heartbeat-libs-3.0.3-2.3.el5.i386.rpm     

resource-agents-1.0.4-1.1.el5.i386.rpm

 

这里包含所有依赖的包,yum 安装即可：

yum –y localinstall –nogpgcheck *rpm

修改配置文件：

cd  /etc/corosync
cp corosync.conf.example corosync.conf

vim corosync.conf
添加如下内容
service {
    ver:  0
    name: pacemaker
}

aisexec {
    user:   root
    group:  root
}

同时将原来内容做下修改：
secauth: on
bindnetaddr: 172.16.0.0     #修改为主机所在网段
to_syslog: no

生成节点间通信时用到的认证密钥文件：

corosync-keygen

将corosync.conf和authkey复制至另一节点:

scp -r corocync.conf authkey node3:/etc/corosync/

分别为两个节点创建corosync生成的日志所在的目录：

mkdir /var/log/cluster
ssh node3  'mkdir /var/log/cluster'

接下来就可以启动corosync服务了

Service corosync start
Ssh node3 'service corosync start'

五、定义资源

 

首先定义高可用集群的一些属性

crm
ccrm(live)# configure
crm(live)configure# property no-quorum-policy=ignore    #取消法定票数的机制
crm(live)configure# property stonith-enabled=false  #禁用隔离设备

接下来定义drbd资源

crm(live)configure# primitive drbd ocf:linbit:drbd params drbd_resource="mydrbd" op start timeout=240 op stop timeout=240
 #根据自己需要定义资源的名字，类型等
crm(live)configure# master ms_mydrbd drbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
 #master关键字定义主从资源，后面指定资源name,meta 指定额外参选数，master-max指定最多有几个master，
 #master-node-max指定一个节点最多运行几个master,clone-max指定有几个clone资源，
 #clone-node-max指定一个节点最多运行几个clone资源，notify指当出现故障时是否通知对方

定义文件系统资源

crm(live)configure# primitive myFS ocf:heartbeat:Filesystem params device="dev/drbd0" directory="/data/mydata" fstype="ext3" op start timeout=60 op stop timeout=60

定义资源约束

crm(live)configure# colocation myFS_on_ms_mydrbd inf: myFS ms_mydrbd:Master
crm(live)configure# order myFS_after_ms_mydrbd mandatory: ms_mydrbd:promote myFS:start
#将资源系统和drbd资源绑定在一个节点上，并定义其启动次序
crm(live)configure# verify
crm(live)configure# commit

查看刚定义的资源的状态

crm status
============
Last updated: Mon Nov 12 16:45:35 2012
Stack: openais
Current DC: node2.test.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
2 Resources configured.
============

Online: [ node3.test.com node2.test.com ]

 Master/Slave Set: ms_mydrbd [drbd]
     Masters: [ node3.test.com ]
     Slaves: [ node2.test.com ]
 myFS   (ocf::heartbeat:Filesystem):    Started node3.test.com

定义IP资源及与其相关的约束

crm(live)configure# primitive IP ocf:heartbeat:IPaddr params ip=172.16.66.1
crm(live)configure# colocation IP_with_ms_mydrbd_master inf: IP ms_mydrbd:Master

查看状态

 crm status
============
Last updated: Mon Nov 12 16:54:25 2012
Stack: openais
Current DC: node2.test.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
4 Resources configured.
============

Online: [ node3.test.com node2.test.com ]

 Master/Slave Set: ms_mydrbd [drbd]
     Masters: [ node3.test.com ]
     Slaves: [ node2.test.com ]
 myFS   (ocf::heartbeat:Filesystem):    Started node3.test.com
 MYSQL  (lsb:mysqld):   Started node3.test.com
 IP (ocf::heartbeat:IPaddr):    Started node3.test.com

这时就可以看到资源在node3 上已经启动起来了，进入mysql测试能否正常运行，可以的话一个简单的基于DRBD的mysql高可用就完工了！！

 

 

测试高可用资源能否实现故障转移，接下来可以手动将node3 故障：

crm node standby
##等待一会看资源是否转移
crm(live)# status
============
Last updated: Mon Nov 12 17:09:50 2012
Stack: openais
Current DC: node2.test.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
4 Resources configured.
============

Node node3.test.com: standby
Online: [ node2.test.com ]

 Master/Slave Set: ms_mydrbd [drbd]
     Masters: [ node2.test.com ]
     Stopped: [ drbd:1 ]
 myFS   (ocf::heartbeat:Filesystem):    Started node2.test.com
 MYSQL  (lsb:mysqld):   Started node2.test.com
 IP (ocf::heartbeat:IPaddr):    Started node2.test.com

看到资源转移成功，说明高可用集群构建成功！！