Corosync/Openais+Pacemaker+ISCSI+OCFS：构建高可用Web群集

目的：
实现高可用的Web群集，后方共享存储：ISCSI（IP-SAN）；
为了实现资源同步，采用OCFS群集文件系统.
特点：
高可用节点之间，不必需要心跳线链接
需要去掉通信的口令（scp），实现无障碍通信.
---------------------------------------------
地址规划：
*HA架构服务器*
node1.a.com  eth0-ip：192.168.102.101 eth1:192.168.1.100
node2.a.com  eth0-ip：192.168.102.102 eth1:192.168.1.200
Vip：192.168.102.200
注：eth0桥接、eth1 Host-Only
---------------------------------------------------------
*Target服务器端*
eth0-ip：192.168.1.10
注：eth0 Host-Only
--------------------------------------------------------
***配置步骤***
――――――――――――――――――――――――――――
Step1:准备工作
--------------------
①分别在给个节点上配置静态ip地址（service network restart）
②进行节点间的时钟同步.(hwclock / date -s "2013-06-14 **:**:**")
③修改HA节点的主机名，使相互能进行名称解析.
vim /etc/sysyconfig/network
 1 NETWORKING=yes
 2 NETWORKING_IPV6=yes
 3 HOSTNAME=node1.a.com(node2.a.com)                         
vim /etc/hosts
 3 127.0.0.1       localhost.localdomain localhost
 4 ::1             localhost6.localdomain6 localhost6
 5 192.168.102.101 node1.a.com node1
 6 192.168.102.102 node2.a.com node2
hostname node1.a.com
④实现节点间的无障碍通信（通信时不需要输入对方的root密码）
node1：
ssh-keygen -t rsa //生成node1节点的ssh服务的公钥和私钥对
cd /root/.ssh/
sh-copy-id -i id_rsa.pub  node2  //将node1的公钥传递给node2
输入node2的root密码：123456
node2：
ssh-keygen -t rsa //生成node2节点的ssh服务的公钥和私钥对
cd /root/.ssh/
sh-copy-id -i id_rsa.pub  node1  //将node1的公钥传递给node1
输入node1的root密码：123456
node1上无障碍通信测试：scp /etc/fstab node2(不再需要root密码)
⑤node1（node2）上配置本地yum源，挂载光盘，安装Corosync相关软件包
yum localinstall  cluster-glue-1.0.6-1.6.el5.i386.rpm  \\
                 cluster-glue-libs-1.0.6-1.6.el5.i386.rpm \\ 
                 corosync-1.2.7-1.1.el5.i386.rpm \\
                 corosynclib-1.2.7-1.1.el5.i386.rpm  \\
                 heartbeat-3.0.3-2.3.el5.i386.rpm  \\
                 heartbeat-libs-3.0.3-2.3.el5.i386.rpm \\
                 libesmtp-1.0.4-5.el5.i386.rpm \\
                 pacemaker-1.1.5-1.1.el5.i386.rpm \\
                 pacemaker-libs-1.1.5-1.1.el5.i386.rpm  \\
                 perl-TimeDate-1.16-5.el5.noarch.rpm  \\
                 resource-agents-1.0.4-1.1.el5.i386.rpm  --nogpgcheck
rpm -ivh openais-1.1.3-1.6.el5.i386.rpm
rpm -ivh openaislib-1.1.3-1.6.el5.i386.rpm
---------------------------------------
Step2:进行Corosync的具体配置
---------------------------------------
①拷贝生成配置文件，并进行相关的配置
cd /etc/corosync/
cp -p corosync.conf.example corosync.conf
vim  corosync.conf
# Please read the corosync.conf.5 manual page
compatibility: whitetank(表示兼容corosync 0.86的版本，向后兼容，兼容老的版本，一些新的功能可能无法实用）
totem {                （图腾的意思  ，多个节点传递心跳时的相关协议的信息）
       version: 2      版本号
       secauth: off    是否打开安全认证
       threads: 0      多少个线程  0 ：无限制
       interface {
               ringnumber: 0
               bindnetaddr: 192.168.102.0 （通过哪个网络地址进行通讯，可以给个主机地址）
               mcastaddr: 226.94.1.1
               mcastport: 5405
       }
}
logging {               （进行的日志的相关选项配置）
       fileline: off    一行显示所有的日志信息
       to_stderr: no    是否发送标准的出错到标准的出错设备上（屏幕）
       to_logfile: yes  将信息输出到日志文件中
       to_syslog: yes   同时将信息写入到系统日志中（两个用一个，占系统资源）
       logfile: /var/log/cluster/corosync.log （***日志文件的存放目录，需要手动创建，不创建，服务将会起不来***）
       debug: off       是否开启debug功能，系统排查时，可以启用该功能                                           
       timestamp: on    日志是否记录时间
                        （以下是openais的东西，可以不用打开）
       logger_subsys {
               subsys: AMF
               debug: off
       }
}
amf {
       mode: disabled
}
service {                （补充一些东西，前面只是底层的东西，因为要用pacemaker）
       ver: 0
       name: pacemaker
}
aisexec {                （虽然用不到openais ，但是会用到一些子选项）
       user: root
       group: root
}
②为了方便其他主机加入该集群，需要认证，生成一个authkey
corosync-keygen
[root@node1 corosync]# ll
total 28
-rw-r--r-- 1 root root 5384 Jul 28  2010 amf.conf.example
-r-------- 1 root root  128 May  7 16:16 authkey
-rw-r--r-- 1 root root  513 May  7 16:14 corosync.conf
-rw-r--r-- 1 root root  436 Jul 28  2010 corosync.conf.example
drwxr-xr-x 2 root root 4096 Jul 28  2010 service.d
drwxr-xr-x 2 root root 4096 Jul 28  2010 uidgid.d
③创建日志文件的存放目录
mkdir /var/log/cluster
④进行节点间的配置同步.
[root@node1 corosync]# scp -p authkey  corosync.conf node2:/etc/corosync/
authkey                                          100%  128     0.1KB/s   00:00   
corosync.conf                                    100%  513     0.5KB/s   00:00
[root@node1 corosync]# ssh node2 'mkdir /var/log/cluster'
⑤启动服务
service corosync start
ssh node2 '/etc/init.d/corosync start'
⑥查看corosync的引擎启动情况
grep -i  -e "corosync cluster engine" -e "configuration file" /var/log/messages 
⑦查看初始化成员节点通知是否发出
grep -i totem /var/log/messages
⑧检查过程中是否有错误产生
grep -i error:  /var/log/messages  |grep -v unpack_resources
⑨检查pacemaker是否已经启动了
grep -i pcmk_startup /var/log/messages
⑩在任何一个节点上  查看集群的成员状态
[root@node1 ~]# crm status
============
Last updated: Fri Jun 14 22:06:21 2013
Stack: openais
Current DC: node1.a.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
0 Resources configured.
============
Online: [ node1.a.com node2.a.com ]
-------------------------------------------------------------------
Step3:提供高可用性的服务
---------------------------------
Corosync中，定义服务可以用两种接口：
1：图形（hb_gui）Heartbeat的一种图形工具，需要安装Heartbeat需要的软件包
yum localinstall heartbeat-2.1.4-9.el5.i386.rpm \\
                heartbeat-gui-2.1.4-9.el5.i386.rpm \\
                heartbeat-pils-2.1.4-10.el5.i386.rpm \\
                heartbeat-stonith-2.1.4-10.el5.i386.rpm \\
                libnet-1.1.4-3.el5.i386.rpm \\
                perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck
安装完后：hb_gui图形进行群集配置
2:crm(pacemaker提供的一种shell)
①显示当前的配置信息 crm configure show
②进行配置文件的语法检测 crm_verify  -L
[root@node1 corosync]# crm_verify  -L
crm_verify[878]: 2013/06/14_17:29:33 ERROR: unpack_resources: Resource start-up disabled since no STONITH resources have been defined
crm_verify[878]: 2013/06/14_17:29:33 ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option
crm_verify[878]: 2013/06/14_17:29:33 ERROR: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity
Errors found during check: config not valid
-V may provide more details
可以看到有stonith错误，在高可用的环境里面，会禁止使用任何支援
可以禁用stonith
方法：
[root@node1 corosync]# crm  //进入crm的shell模式下
crm(live)# configure        //进入全局配置模式
crm(live)configure# property stonith-enabled=false  //关闭stonith机制
crm(live)configure# commit    //提交保存配置信息
crm(live)configure# show      //显示当前配置
crm(live)configure# exit
再次进行语法检测：crm_verify  -L 就不会报错了.
③群集资源类型4种
[root@node1 corosync]# crm
crm(live)# configure 
crm(live)# help
primitive   本地主资源 （只能运行在一个节点上）
group       把多个资源轨道一个组里面，便于管理
clone       需要在多个节点上同时启用的  （如ocfs2  ，stonith ，没有主次之分）
master      有主次之分，如drbd
。。。。。
。。。。。
④用资源代理进行服务的配置
[root@node1 corosync]# crm
crm(live)# ra 
crm(live)# classes
heartbeat
lsb
ocf / heartbeat pacemaker
stonith
⑤查看资源代理的脚本列表
[root@node1 corosync]# crm
crm(live)# ra
crm(live)ra# list lsb
NetworkManager      acpid               anacron             apmd
atd                 auditd              autofs              avahi-daemon
avahi-dnsconfd      bluetooth           capi                conman
corosync            cpuspeed            crond               cups
cups-config-daemon  dnsmasq             drbd                dund
firstboot           functions           gpm                 haldaemon
halt                heartbeat           hidd                hplip
httpd               ip6tables           ipmi                iptables
irda                irqbalance          iscsi               iscsid
isdn                kdump               killall             krb524
kudzu               lm_sensors          logd                lvm2-monitor
mcstrans            mdmonitor           mdmpd               messagebus
microcode_ctl       multipathd          netconsole          netfs
netplugd            network             nfs                 nfslock
nscd                ntpd                o2cb                ocfs2
openais             openibd             pacemaker           pand
pcscd               portmap             psacct              rawdevices
rdisc               readahead_early     readahead_later     restorecond
rhnsd               rpcgssd             rpcidmapd           rpcsvcgssd
saslauthd           sendmail            setroubleshoot      single
smartd              sshd                syslog              vncserver
wdaemon             winbind             wpa_supplicant      xfs
xinetd              ypbind              yum-updatesd     
查看ocf的heartbeat 
crm(live)ra# list ocf  heartbeat
⑥使用info或meta显示一个资源的详细信息
meta ocf:heartbeat:IPaddr
⑦配置资源（IP地址：vip-192.168.102.200 Web服务：httpd）
[root@node1 ~]# crm
crm(live)# configure
crm(live)configure# primitive webip ocf:heartbeat:IPaddr  params ip=192.168.2.100
crm(live)configure# show   //查看
node node1.a.com
node node2.a.com
primitive webip ocf:heartbeat:IPaddr \\
params ip="192.168.102.200"
property $id="cib-bootstrap-options" \\
dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \\
cluster-infrastructure="openais" \\
expected-quorum-votes="2" \\
stonith-enabled="false"
crm(live)configure# commit  //提交 
crm(live)# status           //状态查询
============
Last updated: Mon May  7 19:39:37 2013
Stack: openais
Current DC: node1.a.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
1 Resources configured.
============
Online: [ node1.a.com node2.a.com ]
webip(ocf::heartbeat:IPaddr):Started node1.a.com
可以看出该资源在node1上启动
使用ifconfig 在node1上进行查看
[root@node1 ~]# ifconfig
eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:25:D2:BC 
         inet addr:192.168.102.200  Bcast:192.168.102.255  Mask:255.255.255.0
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
         Interrupt:67 Base address:0x2000
定义httpd资源
在node1和node2上安装httpd服务，不需开机启动.
yum  install httpd
chkconfig httpd off
查看httpd服务的资源代理：lsb
[root@node1 corosync]# crm
crm(live)# ra
crm(live)ra# list lsb
查看httpd的参数
crm(live)ra# meta lsb:httpd
定义httpd的资源
crm(live)configure# primitive webserver lsb:httpd
crm(live)configure# show
node node1.a.com
node node2.a.com
primitive webip ocf:heartbeat:IPaddr \\
params ip="192.168.102.200"
primitive webserver lsb:httpd
property $id="cib-bootstrap-options" \\
dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \\
cluster-infrastructure="openais" \\
expected-quorum-votes="2" \\
stonith-enabled="false"
crm(live)# status
============
Last updated: Mon May  7 20:01:12 2013
Stack: openais
Current DC: node1.a.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
2 Resources configured.
============
Online: [ node1.a.com node2.a.com ]
webIP(ocf::heartbeat:IPaddr):Started node1.a.com
webserver(lsb:httpd):Started node2.a.com
发现httpd已经启动了，但是在node2节点上
（高级群集服务资源越来越多，会分布在不同的节点上，以尽量负载均衡）
需要约束在同一个节点上，定义成一个组
⑧定义一个资源组，将资源进行绑定
crm(live)# configure
crm(live)configure# help group
The `group` command creates a group of resources.
Usage:
...............
       group  [...]
         [meta attr_list]
         [params attr_list]
       attr_list :: [$id=] = [=...] | $id-ref=
...............
Example:
...............
       group internal_www disk0 fs0 internal_ip apache \\
         meta target_role=stopped
...............
定义组进行资源绑定
crm(live)configure# group web-res  webip  webserver
crm(live)configure# show
node node1.a.com
node node2.a.com
primitive webip ocf:heartbeat:IPaddr \\
params ip="192.168.102.200"
primitive webserver lsb:httpd
group web-res webip webserver
property $id="cib-bootstrap-options" \\
dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \\
cluster-infrastructure="openais" \\
expected-quorum-votes="2" \\
stonith-enabled="false"
查看群集的状态
crm(live)# status
============
Last updated: Mon May  7 20:09:06 2013
Stack: openais
Current DC: node1.a.com - partition with quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
1 Resources configured.
============
Online: [ node1.a.com node2.a.com ]
Resource Group: web-res
webIP(ocf::heartbeat:IPaddr):Started node1.a.com
webserver(lsb:httpd):Started node1.a.com
（现在ip地址和 httpd都已经在node1上了）
------------------------------------------------------------
Step4：进行节点间的切换测试.
---------------------------------------
node1:将corosync服务停掉,在节点node2上观察
service corosync stop
[root@node2 corosync]# crm  status
============
Last updated: Mon May  7 20:16:58 2013
Stack: openais
Current DC: node2.a.com - partition WITHOUT quorum
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
2 Nodes configured, 2 expected votes
1 Resources configured.
============
Online: [ node2.a.com ]
OFFLINE: [ node1.a.com ]
可以看到：由于node2节点上没有票数，导致不能正常的资源切换.
解决方法：忽略仲裁磁盘选项.quorum
可选参数有：
ignore  （忽略）
freeze  （冻结，表示已经启用的资源继续实用，没有启用的资源不能启用）
stop    （默认）
suicide （所有的资源杀掉）
再node1上：
service corosync start
[root@node1 corosync]# crm
crm(live)# configure
crm(live)configure# property no-quorum-policy=ignore
crm(live)configure# commit
crm(live)configure# show   （在次查看quorum 的属性）
node node1.a.com
node node2.a.com
primitive webip ocf:heartbeat:IPaddr \\
params ip="192.168.102.200"
primitive webserver lsb:httpd
group web-res webip webserver
property $id="cib-bootstrap-options" \\
dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \\
cluster-infrastructure="openais" \\
expected-quorum-votes="2" \\
stonith-enabled="false" \\
no-quorum-policy="ignore"   （已经关闭）
再次进行切换测试，资源轮转正常！
------------------------------------------------------
Step5：corosync的常见指令
--------------------------
①crm_attribute    修改集群的全局属性信息
②crm_resource     修改资源
③6crm_node        管理节点
crm_node   -e      查看节点的时代（配置文件修改过几次了）
crm_node   -q      显示当前节点的票数
1
④cibadmin         集群配置的工具
-u, --upgrade    Upgrade the configuration to the latest syntax
-Q, --query    Query the contents of the CIB
-E, --erase    Erase the contents of the whole CIB
-B, --bump    Increase the CIB's epoch value by 1
如果某一个资源定义错了，就可以实用该工具进行删除
-D, --delete    Delete the first object matching the supplied criteria, Eg.
也可以在crm的命令行下
crm(live)configure# delete
usage: delete  [...]
也可以在该模式下执行edit
执行完毕后，commit 提交
--------------------------------------------------------------------
Step6：ISCSI（IP-SAN）存储配置详情
------------------------------------------------
一：target（后方的存储介质）
①新添加一块磁盘（或分区）
fdisk -l
分区：fdisk /dev/sda(n--p--4--+2g-w)---添加一块磁盘sda6
更新分区表：（cat /proc/partitions）
partprobe  /dev/sda(不重启，更新分区表)
②安装target需要的软件包,启动服务.
cd /mnt/cdrom/ClusterStorage
rpm -ivh perl-Config-General-2.40-1.e15.noarchrpm
rpm -ivh scsi-target-utils-0.0-5.20080917snap.e15.i386.rpm
service tgtd start
③添加新的iscsi的target.
添加：tgtadm --lld iscsi --op new --mode target --tid=1 --targetname iqn.2013-06.com.a.target:disk
显示：tgtadm --lld iscsi --op show --mode target
存储：tgtadm --lld iscsi --op new --mode=logicalunit --tid=1  --lun=1 --backing-store /dev/sda4
            --lld [driver] --op new --mode=logicalunit --tid=[id] --lun=[lun] --backing-store [path]
验证：tgtadm --lld iscsi --op bind --mode=target --tid=1 --initiator-address=192.168.1.0/24
     tgtadm --lld [driver] --op bind --mode=target --tid=[id] --initiator-address=[address]
④将配置添加到配置文件中，可以开机自动加载.
vim /etc/tgt/targets.conf
       backing-store /dev/sda6
       initiator-address 192.168.1.0/24
二：initiator（node1和node2）
cd /mnt/cdrom/Server
rpm -ivh iscsi-initiator-utils-6.2.0.871-0.10.el5.i386.rpm
service iscsi start
发现：iscsiadm --mode discovery --type sendtargets --portal 192.168.1.10
认证登录：iscsiadm --mode node --targetname iqn.2013-06.com.a.target:disk --portal 192.168.1.10:3260 --login
⑤Target端显示在线的用户情况
tgt-admin -s
Target 1: iqn.2013-06.com.a.target:disk
   System information:
       Driver: iscsi
       State: ready
   I_T nexus information:
       I_T nexus: 1
           Initiator: iqn.2013-06.com.a.realserver2
           Connection: 0
               IP Address: 192.168.1.200
       I_T nexus: 2
           Initiator: iqn.2013-06.com.a.realserver1
           Connection: 0
               IP Address: 192.168.1.100
   LUN information:
       LUN: 0
           Type: controller
           SCSI ID: deadbeaf1:0
           SCSI SN: beaf10
           Size: 0 MB
           Online: Yes
           Removable media: No
           Backing store: No backing store
       LUN: 1
           Type: disk
           SCSI ID: deadbeaf1:1
           SCSI SN: beaf11
           Size: 4178 MB
           Online: Yes
           Removable media: No
           Backing store: /dev/sda6
   Account information:
   ACL information:
       192.168.1.0/24
⑥node1和node2上查看本地的磁盘列表。
fdisk -l
Disk /dev/sdb: 4178 MB, 4178409984 bytes
129 heads, 62 sectors/track, 1020 cylinders
Units = cylinders of 7998 * 512 = 4094976 bytes
Disk /dev/sdb doesn't contain a valid partition table
-------------------------------------------------------------
Step7：将新的磁盘sdb格式为OCFS2群集文件系统.
-------------------------------------------------------------
①在两个节点上安装需要的软件包
yum localinstall ocfs2-2.6.18-164.el5-1.4.7-1.el5.i686.rpm \\
                ocfs2-tools-1.4.4-1.el5.i386.rpm \\
                ocfs2console-1.4.4-1.el5.i386.rpm
②对主配置文件进行配置.
方法一：手动创建主配置文件
mkdir  /etc/ocfs2/
vim cluster.conf
node:
       ip_port = 7777
       ip_address = 192.168.102.101
       number = 0
       name = node1.a.com
       cluster = ocfs2
node:
       ip_port = 7777
       ip_address = 192.168.102.102
       number = 1
       name = node2.a.com
       cluster = ocfs2
cluster:
       node_count = 2
       name = ocfs2
进行节点间的配置同步.
scp -r /etc/ocfs2  node2:/etc/
方法二：GUI图形下进行配置
ocfs2console
③两个节点上分别加载o2cb模块，启动服务.
/etc/init.d/o2cb load
  Loading module "configfs":OK
  Mounting configfs filesystem at /config:OK
  Loading module "ocfs2_nodemanager":OK
  Loading module "ocfs2_dlm":OK
  Loading module "ocfs2_dlmfs":OK
/etc/init.d/ocfs2 start
chkconfig ocfs2 on
/etc/init.d/o2cb online ocfs2
/etc/init.d/o2cb configure
Configuring the O2CB driver.
这将配置 O2CB 驱动程序的引导属性。以下问题将决定在引导时是否加载驱动程序。当前值将在方括号（“[]”）中显示。按 而不键入答案将保留该当前值。Ctrl-C 将终止。
Load O2CB driver on boot (y/n) [n]:y
Cluster to start on boot (Enter "none" to clear) [ocfs2]:ocfs2
Writing O2CB configuration:OK
Loading module "configfs":OK
Mounting configfs filesystem at /config:OK
Loading module "ocfs2_nodemanager":OK
Loading module "ocfs2_dlm":OK
Loading module "ocfs2_dlmfs":OK
Mounting ocfs2_dlmfs filesystem at /dlm:OK
Starting cluster ocfs2:OK
/etc/init.d/o2cb status
  Driver for "configfs": Loaded
  Filesystem "configfs": Mounted
  Driver for "ocfs2_dlmfs": Loaded
  Filesystem "ocfs2_dlmfs": Mounted
  Checking O2CB cluster ocfs2: Online
  Heartbeat dead threshold = 31
   Network idle timeout: 30000
   Network keepalive delay: 2000
   Network reconnect delay: 2000
  Checking O2CB heartbeat: Active
④node1上格式化OCFS2文件系统
mkfs -t ocfs2 /dev/sdb 
⑤两个节点上分别挂载
mount -t ocfs2  /dev/sdb  /var/www/html
mount
/dev/sdb on /var/www/html type ocfs2 (rw,_netdev,heartbeat=local)
cd /var/www/html
echo "Welcome" >index.html
⑥两个节点上进行开机自动挂载
vim  /etc/fstab
/dev/sdb                /var/www/html           ocfs2   defaults        0 0
-------------------------------------------------------------------
Step8:访问测试
--------------------
http://192.168.102.200
Welcome