corosync+pacemaker+mysql+drbd构建mysql高可用集群

一、构建节点

#vim /etc/hosts

保证每个节点都是下面的内容：

172.16.4.5no1.corosql.com no1

172.16.4.6no2.corosql.com no2

配置各个节点对应的主机名：

No1：

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=no1.corosql.com

No2：

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=no2.corosql.com

配置完成后可以验证一下是否和当前主机名相同

#uname -n

接着建立双机互信

No1:

# ssh-keygen -t rsa

# ssh-copy-id -i ~/.ssh/id_rsa.pub root@no2.cpmysql.com

No2:

# ssh-keygen -t rsa

# ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

还要保证时间同步，可以在每个节点执行下面命令：

#crontab -e

*/3 * * * * /usr/sbin/ntpdate 172.16.0.1 &> /dev/null

表示每3分钟自动和172.16.0.1主机同步时间

查看时间是否同步(在no1主机上)

#ssh no2 ‘date’;date

二、安装与配置Corosync

crmsh-1.2.6-4.el6.x86_64.rpm ；pssh-2.3.1-2.el6.x86_64.rpm

1、在两个节点都要安装Corosync

#yum install -y corosync

2、配置文件

#cd /etc/corosync

#cp corosync.conf.example corosync.conf

#vim corosync.conf

找到并修改bindnetaddr的值

secauth: on #启用安全认证功能

bindnetaddr: 172.16.0.0 #通过哪个网段进行通信

mcastaddr: 226.94.111.111 #多播地址（实验时相互影响的时候调整）

然后添加下面的内容

service {

ver:0

name:pacemaker

}

aisexec{

user: root

group: root

}

3、生成节点之间通信时用到的密钥

#corosync-keygen

配置两个节点有相同的配置文件和认证秘钥

#scp -p corosync.conf authkey no2:/etc/corosync/

4、每个节点都要创建集群日志以确保corosync的顺利启动

# mkdir /var/log/cluster

5、关闭两个节点的NetworkManager并且禁止自动启动,打开Network

#chkconfig NetworkManager off

#service NetworkManager stop

#service network start

查看是否开启

#chkconfig --list network

三、安装配置Pacemaker，crmsh

安装 （每个节点分别安装）

crmsh官方网站

https://savannah.nongnu.org/forum/forum.php?forum_id=7672

crmsh下载地址

http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/

#yum install -y pacemaker

RHEL自6.4起不再提供集群的命令行配置工具crmsh，转而使用pcs；如果你习惯了使用crm命令，可下载相关的程序包自行安装即可。crmsh依赖于pssh，因此需要一并下载。

# wgetftp://195.220.108.108/linux/opensuse/factory/repo/oss/suse/x86_64/crmsh-1.2.6-0.rc2.1.1.x86_64.rpm

# wget ftp://195.220.108.108/linux/opensuse/factory/repo/oss/suse/noarch/pssh-2.3.1-6.1.noarch.rpm

# yum -y --nogpgcheck localinstall crmsh*.rpm pssh*.rpm

四、启动corosync

# /etc/init.d/corosync start

或者

#service corosync start

启动成功后接着在节点1启动节点2

# ssh no2 "/etc/init.d/corosync start"

查看corosync引擎是否正常启动：

# grep -e "Corosync Cluster Engine" -e "configuration file"/var/log/cluster/corosync.log

查看初始化成员节点通知是否正常发出：

# grep TOTEM /var/log/cluster/corosync.log

检查启动过程中是否有错误产生。下面的错误信息表示packmaker不久之后将不再作为corosync的插件运行，因此，建议使用cman作为集群基础架构服务；此处可安全忽略。

# grep ERROR: /var/log/cluster/corosync.log | grep -v unpack_resources

查看pacemaker是否正常启动：

# grep pcmk_startup /var/log/cluster/corosync.log

启动node2上的corosync

# ssh node2 -- /etc/init.d/corosync start

查看node1上的相关日志。

# tail /var/log/cluster/corosync.log

如果安装了crmsh，可使用如下命令查看集群节点的启动状态：

# crm status

执行ps auxf命令可以查看corosync启动的各相关进程。

corosync默认启用了stonith，而当前集群并没有相应的stonith设备，因此此默认配置目前尚不可用，这可以通过如下命令验正：

# crm_verify -L -V

禁用stonith：

# crm configure property stonith-enabled=false

使用如下命令查看当前的配置信息：

# crm configure show

node no.magedu.com

node no2.magedu.com

property $id="cib-bootstrap-options" \

dc-version="1.1.8-7.el6-394e906" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2" \

stonith-enabled="false" #stonith已经被禁用

查看当前集群系统所支持的类型：

# crm ra classes

查看某种类别下的所用资源代理的列表，

# crm ra list lsb

# crm ra list ocf heartbeat

# crm ra list ocf pacemaker

# crm ra list stonith

五、DRBD 安装与配置

1、drbd-8.4.3-33.el6.x86_64.rpm

drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm

在两个节点分别安装这两个包

# wget ftp://195.220.108.108/linux/atrpms/el6-x86_64/atrpms/stable/drbd-8.4.3-33.el6.x86_64.rpm

# wget ftp://195.220.108.108/linux/atrpms/el6-x86_64/atrpms/stable/drbd-kmdl-2.6.32-358.6.2.el6-8.4.3-33.el6.x86_64.rpm

# rpm -vih drbd-8.4.3-33.el6.x86_64.rpm drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm

分别在两个节点创建相同大小为5G的分区(注：分区不要太大)

#fdisk /dev/sda

2、配置

# vim /etc/drbd.d/global_common.conf

**********************************************************************************

global {

usage-count no; #不参加让linbit公司收集目前drbd的使用情况

# minor-count dialog-refresh disable-ip-verification

}

common {

protocol C;

handlers {

# These are EXAMPLE handlers only.

# They may have severe implications,

# like hard resetting the node under certain circumstances.

# Be careful when chosing your poison.

pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

# split-brain "/usr/lib/drbd/notify-split-brain.sh root";

# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

}

startup {

# wfc-timeout 120；

#degr-wfc-timeout 120；

}

disk {

# fencing resource-only；

on-io-error detach;#用分离同步错误

}

net {

# protocol timeout max-epoch-size max-buffers unplug-watermark

# connect-int ping-int sndbuf-size rcvbuf-size ko-count

# allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri

# after-sb-1pri after-sb-2pri always-asbp rr-conflict

# ping-timeout data-integrity-alg tcp-cork on-congestion

# congestion-fill congestion-extents csums-alg verify-alg

# use-rle

cram-hmac-alg "sha1"; #设置加密算法sha1

shared-secret "mydrbdlab"; #设置加密key

}

syncer {

rate 1000M; #传输速率

}

}

**********************************************************************************

3、定义一个资源/etc/drbd.d/web.res，内容如下：

resource web {

on no1 {

device /dev/drbd0;

disk /dev/sda3;

address 172.16.4.5:7789;

meta-disk internal;

}

on no2 {

device /dev/drbd0;

disk /dev/sda3;

address 172.16.4.6:7789;

meta-disk internal;

}

}

同步配置的文件至另外一个节点。

#cd /etc/drbd.d/

# scp global_common.confweb.res node2:/etcdrbd.d/

4、分别初始化两个节点已定义的资源

# drbdadm create-md drbd

#ssh drbd2 "drbdadm create-md drbd"

5、分别在两个节点上启动服务:

#service drbd start

查看一下状态

# drbd-overview

# cat /proc/drbd

在要设置为Primary的节点上使用如下命令来设置主节点：

# drbdadm -- --overwrite-data-of-peer primary drbd

# drbdadm primary --force drbd

6、同步完成后，在主节点格式化挂载

#mkdir /mydata

# mke2fs -t ext4 /dev/drbd0

# mount /dev/drbd0 /mydata/

#cd /mydata

# ls

lost+found

7、测试验证一下：

# cp /etc/fstab ./

# vim fstab

做一些操作，我们把下面一行删除

proc /proc proc defaults 0 0

# cd

# umount /mnt

将主节点降级

# drbdadm secondary web

将另外的节点进行升级

# drbdadm primary web

挂载后查看文件是否变化

# mount /dev/drbd0 /mnt

# cd /mnt

# vim fstab

发现我们删除的行不再显示，说明看到的是同一个文件

到这里，drbd配置完成。

六、MySQL 安装与配置

安装Mysql

mysql-5.5.33-linux2.6-x86_64.tar.gz

参考前面博客http://qidian510.blog.51cto.com/7319882/1282064

1、在两个节点上分别操作

安装mysql

#useradd -r -u 335 mysql

#tar xf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/

#cd /usr/local/

#ln -sv mysql-5.5.33-linux2.6-x86_64 mysql

#chown -R root:mysql /usr/local/mysql/*

#cd /mydata/

#mkdir data

#chown -R mysql.mysql /mydata/data/

#cd /usr/localmysql

#scripts/mysql_install_db --user=mysql --datadir=/mytada/data

#cp support-files/mysql.server /etc/rc.d/init.d/mysqld

#chkconfig --add mysqld

#cp support-files/my-large.cnf /etc/my.cnf

2、然后编辑配置文件

找到相关设置进行修改操作

thread_concurrency = 4并发核心数， 如果物理核心为2，这里就可以填写4

datadir = /mydata/data

innodb_file_per_table = 1 每表一个表空间

# vim /etc/profile.d/mysql.sh

export PATH=/usr/local/mysql/bin:$PATH

# . /etc/profile.d/mysql.sh

4、启动服务

#service mysqld start

我们配置的主节点在no上，将/dev/drbd1挂载到/mydata/data目录下，连接到mysql查看以前创建的数据存在即可

#mount /dev/drbd0 /mydata/data

停止mysqld并且不让它们开机自动启动

#chkconfig mysqld off

#service mysqld stop

查看默认启动状态

#chkconfig mysqld --list

5、将node2节点上的DRBD设置为主节点并挂载测试

# umount /mydata/

#drbdadm secondary web#将no节点降级

#drbd-overview

#drbdadm primary web#将no2节点升级

#drbd-overview

在no2节点操作

#mount /dev/drbd0 /mydata/

#service mysqld start

查看数据是否完整

将两个节点的mysql和drbd都停掉并设定开机不会自动启动

#service mysqld stop

#chkconfig mysqld off

#chkconfig mysqld --list

#service drbd stop

#chkconfig drbd off

#chkconfig drbd --list

七、实现mysql高可用性

1、首先确保两个节点的corosync开启

#service corosync start

查看状态

#crm status

2、定义集群属性

# crm configure

# property stonith-enabled=false #禁止使用stonith

# property no-quorum-policy=ignore#表示对于只有两节点的集群，失去了quorum后集群服务仍然能够正常运行

# verify #验证是否有错误

# commit #提交定义的内容

3、定义drbd资源

# primitive my_drbd ocf:linbit:drbd params drbd_resource=drbdop monitor role=Master interval=10 timeout=20 op monitor role=Slave interval=20 timeout=20 op start timeout=240 op stop timeout=100

上面定义的资源意义：

drbd_resource #资源名称

Start timeout #启动服务的超时时长

stop timeout#关闭服务的超时时长

# master ms_my_drbd my_drbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="ture"

master#表示定义主资源

ms_my_drbd #主资源的名称

meta #定义额外的属性

master-max #一个集群上最多运行几个主资源

master-node-max#表示一个节点最多运行几个主资源

clone-max#定义一个群集上最多运行几个clone资源

clone-node-max#表示一个节点上最多运行几个clone资源

notify用于定义当出现故障时，是否通知对方，默认就是ture

# verify

# commit

4、测试当节点切换时资源drbd可以实现主从切换（家目录下操作）

# crm node standby #将当前的节点切换成被动节点

# crm node online #让节点上线

# drbd-overview #查看节点以及资源当前的状态

5、定义Filsystem，必须要和drbd的主节点运行在一起，用来挂载数据

# primitive mystore ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mydata" fstype="ext4" op monitor interval=40 timeout=40 op start timeout=60 op stop timeout=60

my_fs#表示资源名称

Inf #表示my_fs和ms_my_drbd在一起的意愿是百分百

Order #定义哪个资源先运行

# colocation mystore_on_ms_my_drbd inf: mystore ms_my_drbd:Master

# order mystore_after_ms_my_drbd mandatory: ms_my_drbd:start mystore:start

#verify

#commit

6、定义IP资源

# primitive my_ip ocf:heartbeat:IPaddr2 params ip="172.16.4.10" op monitor interval=20 timeout=20 on-fail=restart

#verify

7、将MySQL服务定义成资源

# primitive myserver lsb:mysqld op monitor interval=20 timeout=20 on-fail=restart

# colocation myserver_with_mystore_with_my_ip inf:myserver mystore my_ip

# order mystore_before_myserver inf: mystore:start myserver:start

#mystore先于myserver启动

#order myserver_before_my_ip inf: myserver:start my_ip:start

#myserver先于my_ip启动

#verify

#commit

8、定义完成后进行测试

首先连接到mysql进行用户授权

mysql> grant all on *.* to root@"172.16.%.%" identified by "mypass";

mysql> flush privileges;

在另外的主机上进行测试，我们以172.16.4.11为例，先确保安装mysql客户端

#yum -y install mysql

#mysql -uroot -pmypass -h 172.16.4.11

mysql> show databases;

模拟故障（在no节点上）：

# crm node standby

从no2上访问数据库，可以访问就表示我们测试成功了