Corosync/Openais+Pacemaker+ISCSI+OCFS2:未来趋势组建高可用性群集

还记得小编在前面大篇幅的介绍HA群集吧，使用heartbeat和rhcs都实现过了吧，加上这篇博客介绍的corosync+pacemaker那么就算是完整啦，小编觉得未来高可用性群集的搭建会广泛使用它们俩啦，Conrosync是从Openais这个大项目中分支出来的一个项目，而Pacemaker是heartbeat v3版本中分裂出来专门用于提供高可用集群CRM的组件，东西有点多啦，当然我的总结能力有限啦，得感谢我的好室友（wpp）的帮忙啦。。。。

---------------------------------------------    
地址规划：|

*HA架构服务器*    
node1.a.com  eth0-ip：192.168.102.101 eth1:192.168.1.100      
node2.a.com  eth0-ip：192.168.102.102 eth1:192.168.1.200      
Vip：192.168.102.200      
注：eth0桥接、eth1 Host-Only      
---------------------------------------------------------      
*Target服务器端*      
eth0-ip：192.168.1.10      
注：eth0 Host-Only      
---------------------------------------------------------      
***配置步骤***      
―――――――――――――――――――――――――――――

Step1:准备工作      
--------------      
①分别在给个节点上配置静态ip地址（service network restart）      
②进行节点间的时钟同步.(hwclock / date -s "2013-06-14 **:**:**")      
③修改HA节点的主机名，使相互能进行名称解析.      
vim /etc/sysyconfig/network      
 1 NETWORKING=yes      
 2 NETWORKING_IPV6=yes      
 3 HOSTNAME=node1.a.com    //对于节点2来说主机名是node2.a.com                        
vim /etc/hosts      
 3 127.0.0.1       localhost.localdomain localhost      
 4 ::1             localhost6.localdomain6 localhost6      
 5 192.168.102.101 node1.a.com node1      
 6 192.168.102.102 node2.a.com node2      
hostname node1.a.com      
④实现节点间的无障碍通信（通信时不需要输入对方的root密码，主要是用到ssh啦，把各自节点的公钥给对方就是了）      
node1：      
ssh-keygen -t rsa                      //生成node1节点的ssh服务的公钥和私钥对      
cd /root/.ssh/      
sh-copy-id -i id_rsa.pub  node2 //将node1的公钥传递给node2      
输入node2的root密码：123456      
node2：      
ssh-keygen -t rsa                      //生成node2节点的ssh服务的公钥和私钥对      
cd /root/.ssh/      
sh-copy-id -i id_rsa.pub  node1  //将node1的公钥传递给node1      
输入node1的root密码：123456      
node1上无障碍通信测试：scp /etc/fstab node2(不再需要root密码)      
⑤node1（node2）上配置本地yum源，挂载光盘，安装Corosync相关软件包(小编我放到附件里啦)      
yum localinstall  cluster-glue-1.0.6-1.6.el5.i386.rpm  \      
                 cluster-glue-libs-1.0.6-1.6.el5.i386.rpm \  
                 corosync-1.2.7-1.1.el5.i386.rpm \      
                 corosynclib-1.2.7-1.1.el5.i386.rpm  \      
                 heartbeat-3.0.3-2.3.el5.i386.rpm  \      
                 heartbeat-libs-3.0.3-2.3.el5.i386.rpm \      
                 libesmtp-1.0.4-5.el5.i386.rpm \      
                 pacemaker-1.1.5-1.1.el5.i386.rpm \      
                 pacemaker-libs-1.1.5-1.1.el5.i386.rpm  \      
                 perl-TimeDate-1.16-5.el5.noarch.rpm  \      
                 resource-agents-1.0.4-1.1.el5.i386.rpm  --nogpgcheck      
rpm -ivh openais-1.1.3-1.6.el5.i386.rpm      
rpm -ivh openaislib-1.1.3-1.6.el5.i386.rpm      
----------------------------

Step2:进行Corosync的具体配置      
----------------------------      
①拷贝生成配置文件，并进行相关的配置      
cd /etc/corosync/      
cp -p corosync.conf.example corosync.conf      
vim  corosync.conf      
# Please read the corosync.conf.5 manual page      
compatibility: whitetank             //表示兼容corosync 0.86的版本，向后兼容，兼容老的版本，一些新的功能可能无法实用

totem {                                     //图腾的意思  ，多个节点传递心跳时的相关协议的信息    
       version: 2                          //版本号      
       secauth: off                       //是否打开安全认证      
       threads: 0                         //多少个线程  0 ：无限制      
       interface {      
               ringnumber: 0      
               bindnetaddr: 192.168.102.0          //通过哪个网络地址进行通讯，可以给个主机地址      
               mcastaddr: 226.94.1.1      
               mcastport: 5405      
       }      
}

logging {                                  //进行的日志的相关选项配置    
       fileline: off                        //一行显示所有的日志信息      
       to_stderr: no                    //是否发送标准的出错到标准的出错设备上（屏幕,必然要关闭啦，目的你懂的）      
       to_logfile: yes                  //将信息输出到日志文件中      
       to_syslog: yes                 //同时将信息写入到系统日志中（两个用一个，占系统资源）      
       logfile: /var/log/cluster/corosync.log   //***日志文件的存放目录，需要手动创建，不创建，服务将会起不来***      
       debug: off                         //是否开启debug功能，系统排查时，可以启用该功能                                            
       timestamp: on                 //日志是否记录时间      
                                              //以下是openais的东西，可以不用打开      
       logger_subsys {      
               subsys: AMF      
               debug: off      
       }      
}      
amf {      
       mode: disabled      
}      
service {                                  //补充一些东西，前面只是底层的东西，因为要用pacemaker      
       ver: 0      
       name: pacemaker      
}      
aisexec {                                  //虽然用不到openais ，但是会用到一些子选项      
       user: root      
       group: root      
}      
②为了方便其他主机加入该集群，需要认证，生成一个authkey          //和heartbeat是一样的啦，只有信任的节点才会有，一定程度上保证了群集的安全性啦      
[root@node1 corosync]# corosync-keygen      
[root@node1 corosync]# ll      
total 28      
-rw-r--r-- 1 root root 5384 Jul 28  2010 amf.conf.example      
-r-------- 1 root root  128 May  7 16:16 authkey      
-rw-r--r-- 1 root root  513 May  7 16:14 corosync.conf      
-rw-r--r-- 1 root root  436 Jul 28  2010 corosync.conf.example      
drwxr-xr-x 2 root root 4096 Jul 28  2010 service.d      
drwxr-xr-x 2 root root 4096 Jul 28  2010 uidgid.d      
③创建日志文件的存放目录                     //如果不创建的话corosync是起不来的，上面的配置文件将日志放在这个目录下啦      
[root@node1 corosync]# mkdir /var/log/cluster      
④进行节点间的配置同步.      
[root@node1 corosync]# scp -p authkey  corosync.conf node2:/etc/corosync/      
authkey                                          100%  128     0.1KB/s   00:00    
corosync.conf                                    100%  513     0.5KB/s   00:00      
[root@node1 corosync]# ssh node2 'mkdir /var/log/cluster'      
⑤启动服务      
[root@node1 corosync]# service corosync start      
[root@node1 corosync]# ssh node2 '/etc/init.d/corosync start'            //很神奇吧，在节点一上可以控制节点二的指令啦      
⑥查看corosync的引擎启动情况      
[root@node1 corosync]# grep -i  -e "corosync cluster engine" -e "configuration file" /var/log/messages  
⑦查看初始化成员节点通知是否发出      
[root@node1 corosync]# grep -i totem /var/log/messages      
⑧检查过程中是否有错误产生      
[root@node1 corosync]# grep -i error:  /var/log/messages  |grep -v unpack_resources      
⑨检查pacemaker是否已经启动了      
[root@node1 corosync]# grep -i pcmk_startup /var/log/messages      
⑩在任何一个节点上  查看集群的成员状态      
[root@node1 ~]# crm status      
============      
Last updated: Fri Jun 14 22:06:21 2013      
Stack: openais      
Current DC: node1.a.com - partition with quorum      
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f      
2 Nodes configured, 2 expected votes      
0 Resources configured.      
============

Online: [ node1.a.com node2.a.com ]    
-------------------------------------------------------------------

Step3:提供高可用性的服务      
--------------------------      
Corosync中，定义服务可以用两种接口：      
1：图形（hb_gui）Heartbeat的一种图形工具，需要安装Heartbeat需要的软件包      
yum localinstall heartbeat-2.1.4-9.el5.i386.rpm \      
                heartbeat-gui-2.1.4-9.el5.i386.rpm \      
                heartbeat-pils-2.1.4-10.el5.i386.rpm \      
                heartbeat-stonith-2.1.4-10.el5.i386.rpm \      
                libnet-1.1.4-3.el5.i386.rpm \      
                perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck      
安装完后：hb_gui图形进行群集配置      
2:crm(pacemaker提供的一种shell)                       //很像设备的命令行啦，很好用的      
①显示当前的配置信息 crm configure show      
②进行配置文件的语法检测 crm_verify  -L

[root@node1 corosync]# crm_verify  -L    
crm_verify[878]: 2013/06/14_17:29:33 ERROR: unpack_resources: Resource start-up disabled since no STONITH resources have been defined      
crm_verify[878]: 2013/06/14_17:29:33 ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option      
crm_verify[878]: 2013/06/14_17:29:33 ERROR: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity      
Errors found during check: config not valid      
-V may provide more details      
可以看到有stonith错误，在高可用的环境里面，会禁止使用任何资源      
可以禁用stonith      
方法：      
[root@node1 corosync]# crm                                   //进入crm的shell模式下      
crm(live)# configure                                                 //进入全局配置模式      
crm(live)configure# property stonith-enabled=false  //关闭stonith机制      
crm(live)configure# commit                                     //提交保存配置信息      
crm(live)configure# show                                         //显示当前配置      
crm(live)configure# exit      
再次进行语法检测：crm_verify  -L 就不会报错了.      
③群集资源类型4种      
[root@node1 corosync]# crm      
crm(live)# configure  
crm(live)# help      
primitive   本地主资源 （只能运行在一个节点上）      
group       把多个资源轨道一个组里面，便于管理      
clone       需要在多个节点上同时启用的  （如ocfs2  ，stonith ，没有主次之分）      
master      有主次之分，如drbd      
。。。。。      
。。。。。      
④用资源代理进行服务的配置      
[root@node1 corosync]# crm      
crm(live)# ra  
crm(live)# classes      
heartbeat      
lsb      
ocf / heartbeat pacemaker      
stonith      
⑤查看资源代理的脚本列表      
[root@node1 corosync]# crm      
crm(live)# ra      
crm(live)ra# list lsb      
NetworkManager      acpid               anacron             apmd      
atd                 auditd              autofs              avahi-daemon      
avahi-dnsconfd      bluetooth           capi                conman      
corosync            cpuspeed            crond               cups      
cups-config-daemon  dnsmasq             drbd                dund      
firstboot           functions           gpm                 haldaemon      
halt                heartbeat           hidd                hplip      
httpd               ip6tables           ipmi                iptables      
irda                irqbalance          iscsi               iscsid      
isdn                kdump               killall             krb524      
kudzu               lm_sensors          logd                lvm2-monitor      
mcstrans            mdmonitor           mdmpd               messagebus      
microcode_ctl       multipathd          netconsole          netfs      
netplugd            network             nfs                 nfslock      
nscd                ntpd                o2cb                ocfs2      
openais             openibd             pacemaker           pand      
pcscd               portmap             psacct              rawdevices      
rdisc               readahead_early     readahead_later     restorecond      
rhnsd               rpcgssd             rpcidmapd           rpcsvcgssd      
saslauthd           sendmail            setroubleshoot      single      
smartd              sshd                syslog              vncserver      
wdaemon             winbind             wpa_supplicant      xfs      
xinetd              ypbind              yum-updatesd      
查看ocf的heartbeat  
crm(live)ra# list ocf  heartbeat      
⑥使用info或meta显示一个资源的详细信息      
meta ocf:heartbeat:IPaddr      
⑦配置资源（IP地址：vip-192.168.102.200 Web服务：httpd）      
[root@node1 ~]# crm      
crm(live)# configure      
crm(live)configure# primitive webip ocf:heartbeat:IPaddr  params ip=192.168.2.100      
crm(live)configure# show   //查看      
node node1.a.com      
node node2.a.com      
primitive webip ocf:heartbeat:IPaddr \      
   params ip="192.168.102.200"      
property $id="cib-bootstrap-options" \      
   dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \      
   cluster-infrastructure="openais" \      
   expected-quorum-votes="2" \      
   stonith-enabled="false"      
crm(live)configure# commit  //提交  
crm(live)# status           //状态查询      
============      
Last updated: Mon May  7 19:39:37 2013      
Stack: openais      
Current DC: node1.a.com - partition with quorum      
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f      
2 Nodes configured, 2 expected votes      
1 Resources configured.      
============

Online: [ node1.a.com node2.a.com ]

webip    (ocf::heartbeat:IPaddr):    Started node1.a.com    
可以看出该资源在node1上启动      
使用ifconfig 在node1上进行查看      
[root@node1 ~]# ifconfig      
eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:25:D2:BC  
         inet addr:192.168.102.200  Bcast:192.168.102.255  Mask:255.255.255.0      
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1      
         Interrupt:67 Base address:0x2000      
定义httpd资源      
在node1和node2上安装httpd服务，不需开机启动.      
yum  install httpd      
chkconfig httpd off      
查看httpd服务的资源代理：lsb      
[root@node1 corosync]# crm      
crm(live)# ra      
crm(live)ra# list lsb      
查看httpd的参数      
crm(live)ra# meta lsb:httpd      
定义httpd的资源      
crm(live)configure# primitive webserver lsb:httpd      
crm(live)configure# show      
node node1.a.com      
node node2.a.com      
primitive webip ocf:heartbeat:IPaddr \      
   params ip="192.168.102.200"      
primitive webserver lsb:httpd      
property $id="cib-bootstrap-options" \      
   dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \      
   cluster-infrastructure="openais" \      
   expected-quorum-votes="2" \      
   stonith-enabled="false"      
crm(live)# status      
============      
Last updated: Mon May  7 20:01:12 2013      
Stack: openais      
Current DC: node1.a.com - partition with quorum      
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f      
2 Nodes configured, 2 expected votes      
2 Resources configured.      
============

Online: [ node1.a.com node2.a.com ]

webIP    (ocf::heartbeat:IPaddr):    Started node1.a.com    
webserver    (lsb:httpd):    Started node2.a.com

发现httpd已经启动了，但是在node2节点上    
（高级群集服务资源越来越多，会分布在不同的节点上，以尽量负载均衡）      
需要约束在同一个节点上，定义成一个组      
⑧定义一个资源组，将资源进行绑定      
crm(live)# configure      
crm(live)configure# help group

The `group` command creates a group of resources.

Usage:    
...............      
       group <name> <rsc> [<rsc>...]      
         [meta attr_list]      
         [params attr_list]

       attr_list :: [$id=<id>] <attr>=<val> [<attr>=<val>...] | $id-ref=<id>    
...............      
Example:      
...............      
       group internal_www disk0 fs0 internal_ip apache \      
         meta target_role=stopped      
...............      
定义组进行资源绑定      
crm(live)configure# group web-res  webip  webserver      
crm(live)configure# show      
node node1.a.com      
node node2.a.com      
primitive webip ocf:heartbeat:IPaddr \      
   params ip="192.168.102.200"      
primitive webserver lsb:httpd      
group web-res webip webserver      
property $id="cib-bootstrap-options" \      
   dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \      
   cluster-infrastructure="openais" \      
   expected-quorum-votes="2" \      
   stonith-enabled="false"      
查看群集的状态    
crm(live)# status      
============      
Last updated: Mon May  7 20:09:06 2013      
Stack: openais      
Current DC: node1.a.com - partition with quorum      
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f      
2 Nodes configured, 2 expected votes      
1 Resources configured.      
============

Online: [ node1.a.com node2.a.com ]

Resource Group: web-res    
webIP    (ocf::heartbeat:IPaddr):    Started node1.a.com      
webserver    (lsb:httpd):    Started node1.a.com      
（现在ip地址和 httpd都已经在node1上了）      
------------------------------------------------------------

Step4：进行节点间的切换测试.      
----------------------------      
node1:将corosync服务停掉,在节点node2上观察      
service corosync stop      
[root@node2 corosync]# crm  status      
============      
Last updated: Mon May  7 20:16:58 2013      
Stack: openais      
Current DC: node2.a.com - partition WITHOUT quorum      
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f      
2 Nodes configured, 2 expected votes      
1 Resources configured.      
============

Online: [ node2.a.com ]    
OFFLINE: [ node1.a.com ]      
可以看到：由于node2节点上没有票数，导致不能正常的资源切换.      
解决方法：忽略仲裁磁盘选项.quorum      
可选参数有：      
ignore  （忽略）      
freeze  （冻结，表示已经启用的资源继续实用，没有启用的资源不能启用）      
stop    （默认）      
suicide （所有的资源杀掉）      
再node1上：      
service corosync start      
[root@node1 corosync]# crm      
crm(live)# configure      
crm(live)configure# property no-quorum-policy=ignore      
crm(live)configure# commit      
crm(live)configure# show   （在次查看quorum 的属性）      
node node1.a.com      
node node2.a.com      
primitive webip ocf:heartbeat:IPaddr \      
   params ip="192.168.102.200"      
primitive webserver lsb:httpd      
group web-res webip webserver      
property $id="cib-bootstrap-options" \      
   dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \      
   cluster-infrastructure="openais" \      
   expected-quorum-votes="2" \      
   stonith-enabled="false" \      
   no-quorum-policy="ignore"   （已经关闭）      
再次进行切换测试，资源轮转正常！      
------------------------------------------------------

Step5：corosync的常见指令      
①crm_attribute    修改集群的全局属性信息

②crm_resource     修改资源    
③6crm_node        管理节点      
crm_node   -e      查看节点的时代（配置文件修改过几次了）      
crm_node   -q      显示当前节点的票数      
1      
④cibadmin         集群配置的工具      
-u, --upgrade        Upgrade the configuration to the latest syntax      
-Q, --query        Query the contents of the CIB      
-E, --erase        Erase the contents of the whole CIB      
-B, --bump        Increase the CIB's epoch value by 1      
如果某一个资源定义错了，就可以实用该工具进行删除      
-D, --delete        Delete the first object matching the supplied criteria, Eg.      
也可以在crm的命令行下      
crm(live)configure# delete      
usage: delete <id> [<id>...]      
也可以在该模式下执行edit      
执行完毕后，commit 提交      
--------------------------------------------------------------------

Step6：ISCSI（IP-SAN）存储配置详情      
-----------------------------------      
一：target（后方的存储介质）      
①新添加一块磁盘（或分区）      
fdisk -l      
分区：fdisk /dev/sda(n--p--4--+2g-w)---添加一块磁盘sda6      
更新分区表：（cat /proc/partitions）      
partprobe  /dev/sda(不重启，更新分区表)      
②安装target需要的软件包,启动服务.      
cd /mnt/cdrom/ClusterStorage      
rpm -ivh perl-Config-General-2.40-1.e15.noarchrpm      
rpm -ivh scsi-target-utils-0.0-5.20080917snap.e15.i386.rpm      
service tgtd start      
③添加新的iscsi的target.      
添加：tgtadm --lld iscsi --op new --mode target --tid=1 --targetname iqn.2013-06.com.a.target:disk      
显示：tgtadm --lld iscsi --op show --mode target      
存储：tgtadm --lld iscsi --op new --mode=logicalunit --tid=1  --lun=1 --backing-store /dev/sda4      
            --lld [driver] --op new --mode=logicalunit --tid=[id] --lun=[lun] --backing-store [path]      
验证：tgtadm --lld iscsi --op bind --mode=target --tid=1 --initiator-address=192.168.1.0/24      
     tgtadm --lld [driver] --op bind --mode=target --tid=[id] --initiator-address=[address]      
④将配置添加到配置文件中，可以开机自动加载.      
vim /etc/tgt/targets.conf      
<target iqn.2013-06.com.a.target:disk>      
       backing-store /dev/sda6      
       initiator-address 192.168.1.0/24      
</target>      
二：initiator（node1和node2）      
cd /mnt/cdrom/Server      
rpm -ivh iscsi-initiator-utils-6.2.0.871-0.10.el5.i386.rpm      
service iscsi start      
发现：iscsiadm --mode discovery --type sendtargets --portal 192.168.1.10      
认证登录：iscsiadm --mode node --targetname iqn.2013-06.com.a.target:disk --portal 192.168.1.10:3260 --login      
⑤Target端显示在线的用户情况      
tgt-admin -s      
Target 1: iqn.2013-06.com.a.target:disk      
   System information:      
       Driver: iscsi      
       State: ready      
   I_T nexus information:      
       I_T nexus: 1      
           Initiator: iqn.2013-06.com.a.realserver2      
           Connection: 0      
               IP Address: 192.168.1.200      
       I_T nexus: 2      
           Initiator: iqn.2013-06.com.a.realserver1      
           Connection: 0      
               IP Address: 192.168.1.100      
   LUN information:      
       LUN: 0      
           Type: controller      
           SCSI ID: deadbeaf1:0      
           SCSI SN: beaf10      
           Size: 0 MB      
           Online: Yes      
           Removable media: No      
           Backing store: No backing store      
       LUN: 1      
           Type: disk      
           SCSI ID: deadbeaf1:1      
           SCSI SN: beaf11      
           Size: 4178 MB      
           Online: Yes      
           Removable media: No      
           Backing store: /dev/sda6      
   Account information:      
   ACL information:      
       192.168.1.0/24      
⑥node1和node2上查看本地的磁盘列表。      
fdisk -l      
Disk /dev/sdb: 4178 MB, 4178409984 bytes      
129 heads, 62 sectors/track, 1020 cylinders      
Units = cylinders of 7998 * 512 = 4094976 bytes

Disk /dev/sdb doesn't contain a valid partition table    
-------------------------------------------------------

Step7：将新的磁盘sdb格式为OCFS2群集文件系统.      
------------------------------------------      
①在两个节点上安装需要的软件包      
yum localinstall ocfs2-2.6.18-164.el5-1.4.7-1.el5.i686.rpm \      
                ocfs2-tools-1.4.4-1.el5.i386.rpm \      
                ocfs2console-1.4.4-1.el5.i386.rpm      
②对主配置文件进行配置.      
方法一：手动创建主配置文件      
mkdir  /etc/ocfs2/      
vim cluster.conf      
node:      
       ip_port = 7777      
       ip_address = 192.168.102.101      
       number = 0      
       name = node1.a.com      
       cluster = ocfs2

node:    
       ip_port = 7777      
       ip_address = 192.168.102.102      
       number = 1      
       name = node2.a.com      
       cluster = ocfs2

cluster:    
       node_count = 2      
       name = ocfs2      
进行节点间的配置同步.      
scp -r /etc/ocfs2  node2:/etc/      
方法二：GUI图形下进行配置      
ocfs2console      
③两个节点上分别加载o2cb模块，启动服务.      
/etc/init.d/o2cb load      
  Loading module "configfs":OK      
  Mounting configfs filesystem at /config:OK      
  Loading module "ocfs2_nodemanager":OK      
  Loading module "ocfs2_dlm":OK      
  Loading module "ocfs2_dlmfs":OK

/etc/init.d/ocfs2 start    
chkconfig ocfs2 on      
/etc/init.d/o2cb online ocfs2      
/etc/init.d/o2cb configure      
Configuring the O2CB driver.      
这将配置 O2CB 驱动程序的引导属性。以下问题将决定在引导时是否加载驱动程序。当前值将在方括号（“[]”）中显示。按 而不键入答案将保留该当前值。Ctrl-C 将终止。      
Load O2CB driver on boot (y/n) [n]:y      
Cluster to start on boot (Enter "none" to clear) [ocfs2]:ocfs2      
Writing O2CB configuration:OK      
Loading module "configfs":OK      
Mounting configfs filesystem at /config:OK      
Loading module "ocfs2_nodemanager":OK      
Loading module "ocfs2_dlm":OK      
Loading module "ocfs2_dlmfs":OK      
Mounting ocfs2_dlmfs filesystem at /dlm:OK      
Starting cluster ocfs2:OK      
/etc/init.d/o2cb status      
  Driver for "configfs": Loaded      
  Filesystem "configfs": Mounted      
  Driver for "ocfs2_dlmfs": Loaded      
  Filesystem "ocfs2_dlmfs": Mounted      
  Checking O2CB cluster ocfs2: Online      
  Heartbeat dead threshold = 31      
   Network idle timeout: 30000      
   Network keepalive delay: 2000      
   Network reconnect delay: 2000      
  Checking O2CB heartbeat: Active      
④node1上格式化OCFS2文件系统      
mkfs -t ocfs2 /dev/sdb  
⑤两个节点上分别挂载      
mount -t ocfs2  /dev/sdb  /var/www/html      
mount      
/dev/sdb on /var/www/html type ocfs2 (rw,_netdev,heartbeat=local)      
cd /var/www/html      
echo "Welcome" >index.html      
⑥两个节点上进行开机自动挂载      
vim  /etc/fstab      
/dev/sdb                /var/www/html           ocfs2   defaults        0 0      
-------------------------------------------------------------------

Step8:访问测试      
---------------      
http://192.168.102.200
Welcome