安装配置MySql+DRBD+Corosync+pacemaker

本次 主要介绍MySqL高可用集群环境的搭建。DRBD的英文全称为：Distributed Replicated Block Device（分布式块设备复制），是Linux内核存储层中的一个分布式存储系统，可利用DRBD在两台Linux服务器之间共享块设备、文件系统和数据，类似一个网络RAID1的功能。DRBD的架构如图所示：


其他的就不多说了。下面来实现吧。

前提：
1）本配置共有两个测试节点，分别node1.zhou.com和node2.zhou.com，相的IP地址分别为192.168.35.11/24和192.168.35.12/24；
2）node1和node2两个节点上各提供了一个大小相同的分区作为drbd设备；我们这里为在两个节点上均为/dev/sda5，大小为2G；
3)调整两个节点的时间要同步
4）关闭两台服务器的selinux。
关闭方法：# setenforce 0
要开机就已经是关闭要编辑配置文件
# vim /etc/selinux/config
定位到：SELINUX 并修改为：SELINUX=permissive
5）配置好yum源
6）系统为rhel5.4，x86平台；

一、准备工作
两个节点的主机名称和对应的IP地址解析服务可以正常工作，且每个节点的主机名称需要跟"uname -n“命令的结果保持一致；因此，需要保证两个节点上的/etc/hosts文件均为下面的内容：
192.168.35.11 node1.zhou.com node1
192.168.35.12 node2.zhou.com node2
为了使得重新启动系统后仍能保持如上的主机名称，还分别需要在各节点执行类似如下的命令：

 
    
     
     
  1. Node1: 
    2.  
     
  2. # sed -i 's@\(HOSTNAME=\).*@\1node1.zhou.com@g' 
    3.  
     
  3. # hostname node1.zhou.com 
    4.  
     
  4. Node2： 
    5.  
     
  5. # sed -i 's@\(HOSTNAME=\).*@\1node2.zhou.com@g' 
    6.  
     
  6. # hostname node2.zhou.com 
    7.  
    
 
    
 
    
为了在两台服务器之间文件复制方便，下面来配置双机互信。
 
    
设定两个节点可以基于密钥进行ssh通信，这可以通过类似如下的命令实现：
 
    
 
    
     
     
  1. Node1: 
    2.  
     
  2. # ssh-keygen -t rsa 
    3.  
     
  3. # ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2 
    4.  
     
  4. Node2: 
    5.  
     
  5. # ssh-keygen -t rsa 
    6.  
     
  6. # ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1 
    7.  
    
 
    
配置完成了。以后两台服务器之间在复制文件时就不用输入密码了。这样就方便多了。
 
    
二、安装配置DRBD
 下载所需的软件包：rbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm这两个软件包要根据自己的系统来定。
 下载完成后直接安装即可：
 
    
 
    
     
     
  1. # yum -y --nogpgcheck localinstall drbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm 
    2.  
    
 
    
两台服务器上都要安装上。

下面的操作在node1.zhou.com上完成。

1）复制样例配置文件为即将使用的配置文件：
# cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc

2） 
    
 
    
     
     
  1. 配置/etc/drbd.d/global-common.conf 
    2.  
     
  2. global { 
    3.  
     
  3.         usage-count no; 
    4.  
     
  4.         # minor-count dialog-refresh disable-ip-verification 
    5.  
     
  5. } 
    6.  
     
  6.  
    7.  
     
  7. common { 
    8.  
     
  8.         protocol C; 
    9.  
     
  9.  
    10.  
     
  10.         handlers { 
    11.  
     
  11.                 pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
    12.  
     
  12.                 pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
    13.  
     
  13.                 local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; 
    14.  
     
  14.                 # fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; 
    15.  
     
  15.                 # split-brain "/usr/lib/drbd/notify-split-brain.sh root"; 
    16.  
     
  16.                 # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root"; 
    17.  
     
  17.                 # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k"; 
    18.  
     
  18.                 # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh; 
    19.  
     
  19.         } 
    20.  
     
  20.  
    21.  
     
  21.         startup { 
    22.  
     
  22.                 #wfc-timeout 120; 
    23.  
     
  23.                 #degr-wfc-timeout 120; 
    24.  
     
  24.         } 
    25.  
     
  25.  
    26.  
     
  26.         disk { 
    27.  
     
  27.                 on-io-error detach; 
    28.  
     
  28.                                 #fencing resource-only; 
    29.  
     
  29.         } 
    30.  
     
  30.  
    31.  
     
  31.         net { 
    32.  
     
  32.                                 cram-hmac-alg "sha1"; 
    33.  
     
  33.                                 shared-secret "mydrbdlab"; 
    34.  
     
  34.         } 
    35.  
     
  35.  
    36.  
     
  36.         syncer { 
    37.  
     
  37.                 rate 1000M; 
    38.  
     
  38.         } 
    39.  
     
  39. } 
    40.  
     
  40.  
    41.  
     
  41. 3、定义一个资源/etc/drbd.d/web.res，内容如下： 
    42.  
     
  42. resource web { 
    43.  
     
  43.   on node1.zhou.com { 
    44.  
     
  44.     device    /dev/drbd0; 
    45.  
     
  45.     disk      /dev/sda5; 
    46.  
     
  46.     address   192.168.35.11:7789; 
    47.  
     
  47.     meta-disk internal; 
    48.  
     
  48.   } 
    49.  
     
  49.   on node2.zhou.com { 
    50.  
     
  50.     device    /dev/drbd0; 
    51.  
     
  51.     disk      /dev/sda5; 
    52.  
     
  52.     address   192.168.35.12:7789; 
    53.  
     
  53.     meta-disk internal; 
    54.  
     
  54.   } 
    55.  
     
  55. } 
    56.  
    
 
    
 
    
 
    
     
     
  1. # cd /etc/corosync 
    2.  
     
  2. # cp corosync.conf.example corosync.conf 
    3.  
     
  3. totem { 
    4.  
     
  4.         version: 2 
    5.  
     
  5.         secauth: on   --->这个要启用 
    6.  
     
  6.         threads: 0 
    7.  
     
  7.         interface { 
    8.  
     
  8.                 ringnumber: 0 
    9.  
     
  9.                 bindnetaddr: 192.168.35.0  ---->修改为相应的网络地址 
    10.  
     
  10.                 mcastaddr: 226.94.1.9     ----->这个组播地址也做一点修改以防与其他人的相同。 
    11.  
     
  11.                 mcastport: 5405 
    12.  
     
  12.         } 
    13.  
     
  13. } 
    14.  
     
  14.  
    15.  
     
  15. logging { 
    16.  
     
  16.         fileline: off 
    17.  
     
  17.         to_stderr: no 
    18.  
     
  18.         to_logfile: yes 
    19.  
     
  19.         to_syslog: no       ----->日志文件用一个就行了。所以要关闭一个 
    20.  
     
  20.         logfile: /var/log/cluster/corosync.log 
    21.  
     
  21.         debug: off 
    22.  
     
  22.         timestamp: on 
    23.  
     
  23.         logger_subsys { 
    24.  
     
  24.                 subsys: AMF 
    25.  
     
  25.                 debug: off 
    26.  
     
  26.         } 
    27.  
     
  27. } 
    28.  
     
  28.  
    29.  
     
  29. amf { 
    30.  
     
  30.         mode: disabled 
    31.  
     
  31. } 
    32.  
     
  32. service {               ----->从这行开始到结束是要添加的内容 
    33.  
     
  33.   ver:  0 
    34.  
     
  34.   name: pacemaker 
    35.  
     
  35. } 
    36.  
     
  36. aisexec { 
    37.  
     
  37.   user: root 
    38.  
     
  38.   group: root 
    39.  
     
  39. } 
    40.  
    
 
    
 
    
 
    
     
     
  1. # grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log  
    2.  
     
  2. Jun 14 19:02:08 node1 corosync[5103]:   [MAIN  ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service. 
    3.  
     
  3. Jun 14 19:02:08 node1 corosync[5103]:   [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'. 
    4.  
     
  4. Jun 14 19:02:08 node1 corosync[5103]:   [MAIN  ] Corosync Cluster Engine exiting with status 8 at main.c:1397. 
    5.  
     
  5. Jun 14 19:03:49 node1 corosync[5120]:   [MAIN  ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service. 
    6.  
     
  6. Jun 14 19:03:49 node1 corosync[5120]:   [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'. 
    7.  
    
 
    
 
    
 
    
     
     
  1. # grep  TOTEM  /var/log/cluster/corosync.log  
    2.  
     
  2. Jun 14 19:03:49 node1 corosync[5120]:   [TOTEM ] Initializing transport (UDP/IP). 
    3.  
     
  3. Jun 14 19:03:49 node1 corosync[5120]:   [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0). 
    4.  
     
  4. Jun 14 19:03:50 node1 corosync[5120]:   [TOTEM ] The network interface [192.168.35.11] is now up. 
    5.  
     
  5. Jun 14 19:03:50 node1 corosync[5120]:   [TOTEM ] A processor joined or left the membership and a new membership was formed. 
    6.  
    
 
    
 
    
 
    
     
     
  1. # grep ERROR: /var/log/cluster/corosync.log  | grep -v unpack_resources 
    2.  
    
 
    查看pacemaker是否正常启动：  
    
 
    
     
     
  1. # grep pcmk_startup /var/log/cluster/corosync.log  
    2.  
     
  2. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: CRM: Initialized 
    3.  
     
  3. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] Logging: Initialized pcmk_startup 
    4.  
     
  4. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: Maximum core file size is: 4294967295 
    5.  
     
  5. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: Service: 9 
    6.  
     
  6. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: Local hostname: node1.zhou.com 
    7.  
    
 
    
 
    
 
    
     
     
  1. # crm status 
    2.  
     
  2. ============ 
    3.  
     
  3. Last updated: Tue Jun 14 19:07:06 2011 
    4.  
     
  4. Stack: openais 
    5.  
     
  5. Current DC: node1.magedu.com - partition with quorum 
    6.  
     
  6. Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 
    7.  
     
  7. 2 Nodes configured, 2 expected votes 
    8.  
     
  8. 0 Resources configured. 
    9.  
     
  9. ============ 
    10.  
     
  10.  
    11.  
     
  11. Online: [ node1.zhou.com node2.zhou.com ] 
    12.  
    
 
    出现 这个结果显示Corosync安装成功了。  四、安装MySqL 下载软件：mysql-5.5.20-linux2.6-i686.tar.gz 在node1上操作 使node1为主节点：  
    
 
    
     
     
  1. # mkdir /mydata 
    2.  
     
  2. # mount /dev/drbd0 /mydata 
    3.  
     
  3. # mkdir /myata/data 
    4.  
     
  4. # groupadd -r -g 306 mysql 
    5.  
     
  5. # useradd -r -g mysql -u 306 -s /sbin/nologin -M mysql 
    6.  
     
  6. # chown -R mysql:mysql /mydata/data 
    7.  
     
  7. # tar xvf mysql-5.5.20-linux2.6-i686.tar.gz -C /usr/local/ 
    8.  
     
  8. # cd /usr/local/ 
    9.  
     
  9. # ln -sv mysql-5.5.20-linux2.6-i686 mysql 
    10.  
     
  10. # cd mysql 
    11.  
     
  11. # chown -R mysql:mysql . 
    12.  
     
  12. # ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data/  
    13.  
     
  13. # chown -R root . 
    14.  
     
  14. # cp support-files/my-large.cnf /etc/my.cnf 
    15.  
     
  15. # cp support-files/mysql.server /etc/rc.d/init.d/mysqld 
    16.  
     
  16. # ln -sv /usr/local/mysql/include /usr/include/mysql 
    17.  
     
  17. # echo "/usr/local/mysql/lib" > /etc/ld.so.conf.d/mysql.conf 
    18.  
     
  18. # ldconfig -v | grep mysql 
    19.  
     
  19. # service mysqld start 
    20.  
     
  20. # service mysqld stop 
    21.  
     
  21. # chkconfig mysqld off 
    22.  
    
 
    
 
    
 
    
     
     
  1. # scp node1:/root/mysql-5.5.20-linux2.6-i686.tar.gz ./ 
    2.  
     
  2. # mkdir /mydata 
    3.  
     
  3. # mount /dev/drbd0 /mydata 
    4.  
     
  4. # mkdir /myata/data 
    5.  
     
  5. # groupadd -r -g 306 mysql 
    6.  
     
  6. # useradd -r -g mysql -u 306 -s /sbin/nologin -M mysql 
    7.  
     
  7. # chown -R mysql:mysql /mydata/data 
    8.  
     
  8. # tar xvf mysql-5.5.20-linux2.6-i686.tar.gz -C /usr/local/ 
    9.  
     
  9. # cd /usr/local/ 
    10.  
     
  10. # ln -sv mysql-5.5.20-linux2.6-i686 mysql 
    11.  
     
  11. # cd mysql 
    12.  
     
  12. # chown -R root:mysql . 
    13.  
     
  13. # scp node1:/etc/my.cnf /etc/ 
    14.  
     
  14. # scp node1:/etc/rc.d/init.d/mysqld /etc/rc.d/init.d/ 
    15.  
     
  15. # ln -sv /usr/local/mysql/include /usr/include/mysql 
    16.  
     
  16. # scp node1:/etc/ld.so.conf.d/mysql.conf /etc/ld.so.conf.d/ 
    17.  
     
  17. # ldconfig -v | grep mysql 
    18.  
     
  18. # service mysqld start 
    19.  
     
  19. # service mysqld stop 
    20.  
     
  20. # chkconfig mysqld off 
    21.  
    
 
    
 
    
 
    
     
     
  1. # crm configure 
    2.  
     
  2. crm(live)configure# property stonith-enabled="false" 
    3.  
     
  3. crm(live)configure# property no-quorum-policy="ignore" 
    4.  
     
  4. crm(live)configure# rsc_defaults resource-stickiness=100 
    5.  
    
 
    
 
    
 
    
     
     
  1. crm(live)configure# verify  
    2.  
     
  2. crm(live)configure# commit  
    3.  
     
  3. crm(live)configure# show 
    4.  
     
  4. node node1.zhou.com 
    5.  
     
  5. node node2.zhou.com 
    6.  
     
  6. property $id="cib-bootstrap-options" \ 
    7.  
     
  7.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
    8.  
     
  8.     cluster-infrastructure="openais" \ 
    9.  
     
  9.     expected-quorum-votes="2" \ 
    10.  
     
  10.     stonith-enabled="false" \ 
    11.  
     
  11.     no-quorum-policy="ignore" 
    12.  
     
  12. rsc_defaults $id="rsc-options" \ 
    13.  
     
  13.     resource-stickiness="100" 
    14.  
    
 
    
 
    
 
    
     
     
  1. crm(live)configure# primitive drbd ocf:linbit:drbd params drbd_resource="web" op monitor interval=29s role="Master" op monitor interval=31s role="Slave" op start timeout=240s op stop timeout=100s 
    2.  
     
  2. crm(live)configure# show 
    3.  
     
  3. crm(live)configure# show 
    4.  
     
  4. crm(live)configure# ms ms_drbd drbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true 
    5.  
    
 
    
 
    
 
    
     
     
  1. crm(live)configure# primitive fs ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mydata" fstype="ext3" op start timeout=60s op stop timeout=60s 
    2.  
    
 
    
 
    
 
    
     
     
  1. crm(live)configure# primitive myip ocf:heartbeat:IPaddr params ip="192.168.53.4" 
    2.  
     
  2. crm(live)configure# primitive mysqld lsb:mysqld  
    3.  
    
 
    
 
    
 
    
     
     
  1. crm(live)configure# colocation fs_with_ms_drbd inf: fs ms_drbd:Master  --->让fs与ms_drbd的主节点在一起 
    2.  
     
  2. crm(live)configure# order fs_after_ms_drbd inf: ms_drbd:promote fs:start  ---->让ms_drbd先于fs启动 
    3.  
     
  3. crm(live)configure# colocation ip_with_ms_drbd inf: ip ms_drbd:Master  ---> 让ip地址与ms_drbd的主节点在一起 
    4.  
     
  4. crm(live)configure# order fs_after_ip inf: ip fs:start                  ----> 让fs晚于ip启动 
    5.  
     
  5. crm(live)configure# colocation mysqld_with_fs inf: mysqld fs           ------> 让mysql服务与fs在一起 
    6.  
     
  6. crm(live)configure# order mysqld_after_fs inf: fs mysqld:start         -------> 让fs先于mysql服务启动 
    7.  
     
  7. 最要检测一下，并提交。 
    8.  
     
  8. crm(live)configure# verify  
    9.  
     
  9. crm(live)configure# show 
    10.  
     
  10. crm(live)configure# commit  
    11.  
    
 
    
 
    
 
    
     
     
  1. # crm_mon 
    2.  
     
  2. 如下所示的结果： 
    3.  
     
  3. Online: [ node1.zhou.com node2.zhou.com ] 
    4.  
     
  4.  
    5.  
     
  5.  Master/Slave Set: ms_drbd [drbd] 
    6.  
     
  6.      Masters: [ node2.zhou.com ] 
    7.  
     
  7.      Slaves: [ node1.zhou.com ] 
    8.  
     
  8. fs  (ocf::heartbeat:Filesystem):    Started node2.zhou.com 
    9.  
     
  9. ip  (ocf::heartbeat:IPaddr):        Started node2.zhou.com 
    10.  
     
  10. mysqld  (lsb:mysqld):   Started node2.zhou.com 
    11.  
    
 
    
 
    
 
    
     
     
  1. # crm node standby 
    2.  
     
  2. # crm_mon 
    3.  
     
  3.  
    4.  
     
  4. Node node2.zhou.com: standby 
    5.  
     
  5. Online: [ node1.zhou.com ] 
    6.  
     
  6.  
    7.  
     
  7.  Master/Slave Set: ms_drbd [drbd] 
    8.  
     
  8.      Masters: [ node1.zhou.com ] 
    9.  
     
  9.      Stopped: [ drbd:0 ] 
    10.  
     
  10. fs  (ocf::heartbeat:Filesystem):    Started node1.zhou.com 
    11.  
     
  11. ip  (ocf::heartbeat:IPaddr):        Started node1.zhou.com 
    12.  
     
  12. mysqld  (lsb:mysqld):   Started node1.zhou.com 
    13.