基于NFS和corosync实现mysql高可用

 实验基于redhat 5.8,nfs为系统自带，corosync-1.2.7-1.1.el5.i386.rpm 。mysql-5.5.25a.tar.gz。实验拓扑图：

NFS共享目录给两台mysql,也就是图中的node1，node2，这个目录在同一时刻只能是其中一台挂载。node1,node2的数据存储在NFS提供的共享目录中。这样做的目的是当其中一个节点坏了，而另外一个节点能够替代他，并继续提供服务。当然此次实现没有对NFS做高可用，如果在生产环境中，NFS也要做高可用。vip是也就提供服务的虚拟IP,在node1,node2只能同时配置在其中一台服务器上。

一，先配置好NFS， 建立一个lvm的分区来存储msqyl 数据,对三台虚拟的时间调整到相同状态。
(1)对nfs服务器先配置好：

[root@server30 ~]# partprobe /dev/sda
[root@server30 ~]# pvcreate  /dev/sda5
  Writing physical volume data to disk "/dev/sda5"
  Physical volume "/dev/sda5" successfully created
[root@server30 ~]# vgcreate  myvg /dev/sda5
  Volume group "myvg" successfully created
[root@server30 ~]# lvcreate -L 5G -n mydata myvg
[root@server30 ~]# mke2fs -j -L MYDATA /dev/myvg/mydata
[root@server30 ~]# mke2fs -j -L MYDATA /dev/myvg/mydata
vim /etc/fstab
LABEL=MYDATA            /mydata                 ext3    defaults        0 0
[root@server30 ~]# mount -a
[root@server30 ~]# mount
[root@server30 ~]# useradd -u 300 -r mysql
[root@server30 ~]# useradd -u 300 -r mysql
[root@server30 ~]# chown -R mysql:mysql /mydata/
[root@server30 ~]# vim /etc/exports  (no_root_squash表示不将root用户映射为noboby)
/mydata                 172.16.150.30(rw,no_root_squash) 172.16.150.31(rw,no_root_squash)
[root@server30 ~]# service nfs start
[root@server30 ~]# chkconfig nfs on
[root@server30 ~]# exportfs -arv

（2）在node1上配置mysql

[root@node1 ~]# mkdir /mydata
[root@node1 ~]# mount -t nfs 172.16.150.22:/mydata  /mydata
[root@node1 ~]# useradd -u 300 -r mysql
[root@node1 ~]# su - mysql
-bash-3.2$ cd /mydata
-bash-3.2$ touch test.txt
-bash-3.2$ ls
lost+found  test.txt
-bash-3.2$ rm -f test.txt
[root@node1 ~]# mkdir /mydata/data
[root@node1 ~]# chown -R mysql:mysql /mydata/data
[root@node1 mysql]#  chown -R :mysql /usr/local/mysql/
安装mysql请参照此篇博客 http://bingodeng.blog.51cto.com/1038075/935635
[root@node1 support-files]# cp my-large.cnf /etc/my.cnf
[root@node1 mysql]# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@node1 mysql]# chmod +x /etc/rc.d/init.d/mysqld
[root@node1 ~]# vim /etc/my.cnf
修改thread_concurrency = 4 跟自己的cpu核心有关
添加一行datadir=/mydata/data
[root@node1 mysql]# scripts/mysql_install_db --user=mysql --datadir=/mydata/data
对mysql进行初始化。
[root@node1 ~]# service mysqld start
[root@node1 ~]# /usr/local/mysql/bin/mysql 测试能否连接成功
[root@node2 ~]# service mysqld stop
[root@node1 ~]# scp /etc/my.cnf /etc/rc.d/init.d/mysqld node2:/root
[root@node2 ~]# umount /mydata 这是因为需要将NFS定义成资源

(3)在node2上

[root@node2 ~]# chown -R :mysql /usr/local/mysql/
[root@node2 ~]# service mysqld start
Starting MySQL.......                                      [  OK  ]
[root@node2 ~]# /usr/local/mysql/bin/mysql
[root@node2 ~]# service mysqld stop
[root@node2 ~]# umount /mydata

二，先准备好三台虚拟机，并对node1,node2做好双机互信。

(1)修改在node1上修改/etc/hosts。

 vim /etc/hosts
172.16.150.30   node1
172.16.150.31   node2

并将些文件复制到node2上，scp /etc/hosts node2:/etc/

(2)对node1与node2的主机名先做修改，并配置好IP。

node1:
sed -i 's@\(HOSTNAME=\).*@\1node1@g'  /etc/sysconfig/network
hostname node1  或者hostname -F /etc/sysconfig/network

node2：
sed -i 's@\(HOSTNAME=\).*@\1node2g' /etc/sysconfig/network
hostname node2

(3)设定两个节点可以基于密钥进行ssh通信。

node1:
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2

node2:
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

三，在node1,node2上安装corosync。需要安装以下rpm包。

cluster-glue-1.0.6-1.6.el5.i386.rpm
cluster-glue-libs-1.0.6-1.6.el5.i386.rpm
corosync-1.2.7-1.1.el5.i386.rpm
heartbeat-3.0.3-2.3.el5.i386.rpm
heartbeat-libs-3.0.3-2.3.el5.i386.rpm
libesmtp-1.0.4-5.el5.i386.rpm
pacemaker-1.1.5-1.1.el5.i386.rpm
pacemaker-libs-1.1.5-1.1.el5.i386.rpm
perl-TimeDate-1.16-5.el5.noarch.rpm
resource-agents-1.0.4-1.1.el5.i386.rpm
可以使用yum -y --nogpgcheck localinstall *.rpm

四，在node1上做以下修改

[root@node1 corosync]# cd /etc/corosync/
[root@node1 corosync]# cp corosync.conf.example corosync.conf
[root@node1 corosync]# vim corosync.conf
totem {
        version: 2
        secauth: on 启用节点之间通信需要认证
        threads: 0
        interface {
                ringnumber: 0
                bindnetaddr: 172.16.0.0 自己所处的网络地址
                mcastaddr: 226.94.150.1 组播地址
                mcastport: 5405  组播端口
        }
logging {
        fileline: off
        to_stderr: no
        to_logfile: yes
        to_syslog: no 禁止日志记录到/var/log/messages
        logfile: /var/log/cluster/corosync.log
        debug: off
        timestamp: on
        logger_subsys {
                subsys: AMF
                debug: off
        }
}
service { 添加一个pacemaker的服务
        ver: 0 版本号
        name: pacemaker
        use_mgmtd: yes 是否启用图形，此次实验基于命令，可以省略，如果其中图形，还需要安装别的.rpm包
}
aixexec { 使用哪个用户来启用服务
        user: root
        group: root
}
[root@node1 corosync]# corosync-keygen  生成密钥文件authkey
[root@node1 corosync]# scp authkey  corosync.conf node2:/etc/corosync/
[root@node1 corosync]# mkdir /var/log/cluster
[root@node1 corosync]# ssh node2 'mkdir /var/log/cluster'
[root@node1 corosync]# service corosync start
Starting Corosync Cluster Engine (corosync):               [  OK  ]
[root@node1 corosync]# ssh node2 '/etc/init.d/corosync start'
Starting Corosync Cluster Engine (corosync): [  OK  ]
在node1启动node2的corosync,不要到node2本机上启动。这是规定

[root@node1 corosync]# crm_mon 此命令会一直监视，需要按ctrl+c退出
Last updated: Sat Aug  4 10:26:11 2012
Stack: openais
Current DC: node1 - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
0 Resources configured.
============

Online: [ node1 node2 ] 当前在线的节点nod1,node2

五，进入crm的交互式命令配置，在交互式中，可以使用tab键自动对齐。比较人性化。

[root@node1 corosync]# crm
crm(live)# configure
crm(live)configure# property stonith-enabled=false 禁用stonith，stonith需要硬件支持。
crm(live)configure# verify 最好验证刚才的语句有没有错误
crm(live)configure# commit
crm(live)configure# property no-quorum-policy=ignore 没有法定票数的策略，忽略不计，继续提供服务
crm(live)configure# rsc_defaults resource-stickiness=100 设定当前节点的粘性值，100大于0，表示资源更乐意留下当前节点
crm(live)configure# verify
crm(live)configure# commit
crm(live)configure# show  查看当前生效的配置
node node1 node node2 property $id="cib-bootstrap-options" \ dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ cluster-infrastructure="openais" \ expected-quorum-votes="2" \ stonith-enabled="false" \ no-quorum-policy="ignore" rsc_defaults $id="rsc-options" \ resource-stickiness="100"

 六，开始定义资源：

crm(live)# ra
crm(live)# classes 查看资源代理类型
crm(live)ra# list ocf heartbeat查找ocf 下的heartbeat有哪些代理
crm(live)ra# meta ocf:heartbeat:IPaddr查看IPaddr的参数

  (1)定义第一个资源：虚拟IP

crm(live)configure# primitive myip ocf:heartbeat:IPaddr params ip="172.16.150.1"
定义资源，资源名为myip  使用是ocf下的hearbeat下IPaddr ,IPaddr的ip参数
crm(live)configure# commit
[root@node1 ~]# crm status
Last updated: Sat Aug  4 10:51:54 2012
Stack: openais
Current DC: node1 - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
1 Resources configured.
============

Online: [ node1 node2 ]

 myip   (ocf::heartbeat:IPaddr):    Started node1  表示资源已经在node1上启动了
 [root@node1 ~]# ifconfig 查看有没有真正的启动

 (2)定义第二个资源：文件系统

crm(live)ra# cd
crm(live)# configure
crm(live)configure# primitive mynfs ocf:heartbeat:Filesystem params device="172.16.100.1:/mydata" directory="/
mydata" fstype="nfs"  由于使用是默认的20秒，小于建议的60秒，因此出现下面的警告，只需要将默认的20修改成大于60就ok
WARNING: mynfs: default timeout 20s for start is smaller than the advised 60 ( crm(live)ra# meta ocf:heartbeat:Filesystem可以查看到建议的最小值
WARNING: mynfs: default timeout 20s for stop is smaller than the advised 60

crm(live)configure# delete mynfs
crm(live)configure# primitive mynfs ocf:heartbeat:Filesystem params device="172.16.150.22:/mydata" directory="/mydata"
fstype="nfs" op start timeout=60s op stop timeout=60s
crm(live)configure# commit

[root@node1 ~]# crm status
============
Last updated: Sat Aug  4 11:48:23 2012
Stack: openais
Current DC: node1 - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
2 Resources configured.
============

Online: [ node1 node2 ]

 myip   (ocf::heartbeat:IPaddr):    Started node1
 mynfs  (ocf::heartbeat:Filesystem):    Started node2表示在node2已经启动

 [root@node2 corosync]# crm node standby 将在node2切换成备节点
 [root@node1 ~]# crm status  再次查看mynfs资源已经在node1上启动。
 [root@node2 corosync]# crm node online 让node2再次上线
 [root@node1 ~]# crm status 由于前面配置的资源的粘性，因此资源不会再回node2

(3)配置第三个资源mysqld,并定义资源的之间的约束mysqld与mynfs在一起。原因很简单，如果不在一起mysql将无法启动，且mynfs一定比mysqld先启动。当然mysqld与myip也要在一起。

crm(live)configure# primitive mysqld lsb:mysqld 使用lsb类型的资源代理
crm(live)configure# crm(live)configure# colocation mysqld_and_mynfs_myip inf: mysqld mynfs myip
将三个资源定义在一起,三个资源要同时在一个节点上
crm(live)configure# order mysqld_after_mynfs  mandatory: mynfs:start mysqld mynfs
先启动后，才启动mysqld
crm(live)configure# order mysqld_after_myip mandatory: myip mysqld
myip与mynfs谁先启动都无所谓
crm(live)configure# commit
[root@node2 ~]# crm_mon查看是否已经启动

七，测试mysql

 mysql> grant all on *.* to root@'%' identified by 'redhat'; 建立远程连接用户，
mysql> flush privileges;

再开一台虚拟机测试先安装mysql客户端，并启动服务mysql
[root@server30 ~]# mysql -uroot -h172.16.150.1 -predhat
mysql> create database testdb;创建一个数据库

八，模拟node1故障是时，node2会不会自动接替

[root@node1 ~]# crm node standby
[root@node1 ~]# crm_mon 令可能要等下，三个资源才会全部显示

到此结束!