红帽集群套件RHCS 虚拟fence实验
RHCS（Red Hat Cluster Suite）是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合.
LUCI：是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统。
CLVM：Cluster逻辑卷管理，是LVM的扩展，这种扩展允许cluster中的机器使用LVM来管理共享存储。
CMAN：分布式集群管理器。
实验规划：节点两台，管理主机一台
节点一：192.168.0.54 （desktop54.example.com）
节点二：192.168.0.85 （desktop85.example.com）
管理主机：192.168.0.22 （desktop22.example.com）
一、【准备工作】
1、将三台电脑的解析分别写入到各自的 hosts 文件，这里是这样:
192.168.0.54 desktop54.example.com
192.168.0.85 desktop85.example.com
192.168.0.22 desktop22.example.com
2、两台节点主机关闭 selinux、iptables、和NetworkManager
[root@desktop54 node1]# iptables -F
[root@desktop54 node1]# service iptables save
[root@desktop54 node1]# grep ^SELINUX= /etc/selinux/config
SELINUX=enforcing
[root@desktop54 node1]# sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
[root@desktop54 node1]# yum remove NetworkManager NetworkManager-glib NetworkManager-gnome NetworkManager-devel NetworkManager-glib-devel
[root@desktop54 node1]# reboot
(node1和node2都关闭selinux、iptables和NetworkManager)
一、【管理主机】
安装luci:
[root@desktop22 manager]# yum install luci -y
[root@desktop22 manager]# chkconfig luci on
[root@desktop22 manager]# service luci start
Point your web browser to https://desktop22.example.com:8084 to access luci
这是可以通过访问 https://desktop22.example.com:8084 进入到RHCS网页集群管理。要求安装证书，然后以系统用户登录。这里以 root 登录。
二、【节点配置】
安装 ricci、rgmanager、cman
[root@desktop54 node1]# yum install ricci rgmanager cman -y
[root@desktop54 node1]# chkconfig ricci on
[root@desktop54 node1]# chkconfig rgmanager on
[root@desktop54 node1]# chkconfig cman on
[root@desktop54 node1]# service ricci start
Starting ricci: [ OK ]
[root@desktop54 node1]# service rgmanager start
Starting Cluster Service Manager: [ OK ]
[root@desktop85 node2]# service cman start
Starting cluster:
Checking Network Manager... [ OK ]
Global setup... [ OK ]
Loading kernel modules... [ OK ]
Mounting configfs... [ OK ]
Starting cman... xmlconfig cannot find /etc/cluster/cluster.conf
[FAILED]
这是因为还没有加入集群没有产生配置文件/etc/cluster/cluster.conf
三、【管理界面配置】
登录网址：https://desktop22.example.com:8084 name：root password：kevin
1、添加集群：
Manager Clusters -> Create {集群名字，节点的密码是否一样，输入主机名和密码，端口不用改。这里选择在线下载所需的软件包，允许加入节点前重启，支持共享存储。} ->Create Cluster
2、配置集群：（点击创建的集群进去）
**创建节点：
创建完集群之后：会将添加的节点加进去，但都是显示红色，是因为相互通信的cman服务没有开启，手动开启cman服务：
[root@desktop54 node1]# service cman start （节点1）
Starting cluster:
Checking Network Manager... [ OK ]
Global setup... [ OK ]
Loading kernel modules... [ OK ]
Mounting configfs... [ OK ]
Starting cman... [ OK ]
Waiting for quorum... [ OK ]
Starting fenced... [ OK ]
Starting dlm_controld... [ OK ]
Starting gfs_controld... [ OK ]
Unfencing self... [ OK ]
Joining fence domain... [ OK ]
[root@desktop86 node2]# service cman start (节点2)
Starting cluster:
Checking Network Manager... [ OK ]
Global setup... [ OK ]
Loading kernel modules... [ OK ]
Mounting configfs... [ OK ]
Starting cman... [ OK ]
Waiting for quorum... [ OK ]
Starting fenced... [ OK ]
Starting dlm_controld... [ OK ]
Starting gfs_controld... [ OK ]
Unfencing self... [ OK ]
Joining fence domain... [ OK ]
此时再刷新管理页面，节点都显示正常了。
**添加fence设备：
Fence Devices -> Add{Fence virt(Multicast Mode) (然后fence type 会变为fence xvm ) ; 名字：kevin_virt_fence} -> Submit 确定
**添加Failover Domains 故障转移域：
Prioritized:优先级，故障转移时选择优先级高的。
Restricted:服务只运行在指定的节点上。
No Failback:当故障节点又正常的时候，不必把服务切换回去。
Failover Domains -> Add {名字：kevin_failover ;勾选Prioritized，No Failback具体情况自己设定；将实验的两台节点勾选，设定其优先级。}
-> Create
**添加资源：(具体的自己添加，实验以apache服务)
Resources -> Add -> 选择IP Address
{IP address:192.168.0.234『虚拟ip地址，用于访问的，确保没被使用』;
Netmask bits (optional)：24『掩码位数』；
Monitor link：勾选上；
Number of seconds to sleep after removing an IP address：默认 }
->Submit
Resources -> Add -> 选择Script
{Name:httpd;
Full path to script file:/etc/init.d/httpd }
->Submit
**添加服务：（具体的自己添加）
Services -> Add
{Service name:apache ;
Automatically start this service:勾上『自动启动服务』；
Run exclusive:
Failover domain:选择刚刚加入的故障转移域kevin_failover;
Recovery policy:轮循方式}
-> Add a resource 选择刚刚添加的虚拟ip -> Add a resource 选择刚刚添加的脚本httpd ->Submit
四、测试
节点均装上httpd服务并开启服务：
[root@desktop54 node1]# yum install httpd -y (节点1)
[root@desktop54 node1]# service httpd start
[root@desktop54 node1]# echo `hostname` > /var/www/html/index.html
[root@desktop86 node2]# yum install httpd -y (节点2)
[root@desktop86 node2]# service httpd start
[root@desktop86 node2]# echo `hostname` > /var/www/html/index.html
没有截图，用文本方式访问：
[root@desktop22 server]# elinks -dump 192.168.0.54 (管理)
desktop54.example.com
[root@desktop22 server]# elinks -dump 192.168.0.86
desktop86.example.com
OK! 都正常
[root@desktop22 server]# elinks -dump 192.168.0.234 （虚拟ip）
desktop54.example.com （54优先级高）
在node1上模拟故障，看服务还能继续吗？用web方式刷新更直观
[root@desktop54 node1]# echo b > /proc/sysrq-trigger
[root@desktop22 server]# elinks -dump 192.168.0.234 （虚拟ip）
desktop86.example.com
再等node1开接启动服务后：
[root@desktop22 server]# elinks -dump 192.168.0.234 （虚拟ip）
desktop86.example.com
服务节点切回去了，这是因为刚刚勾选No Failback了。即使服务节点正常了不会再切回去。
【iSCSI GFS实现网络存储】
1、查看iscsi的状态：
[root@desktop54 node1]# /etc/init.d/iscsi status （node1的状态）
iSCSI Transport Class version 2.0-870
version 2.0-872
Target: iqn.2012-03.com.example:kevin
Current Portal: 192.168.0.24:3260,1
Persistent Portal: 192.168.0.24:3260,1
**********
Interface:
**********
Iface Name: default
Iface Transport: tcp
Iface Initiatorname: iqn.1994-05.com.redhat:86d532367ca0
Iface IPaddress: 192.168.0.54
Iface HWaddress:
Iface Netdev:
SID: 2
iSCSI Connection State: LOGGED IN
iSCSI Session State: LOGGED_IN
Internal iscsid Session State: NO CHANGE
************************
Negotiated iSCSI params:
************************
HeaderDigest: None
DataDigest: None
MaxRecvDataSegmentLength: 262144
MaxXmitDataSegmentLength: 8192
FirstBurstLength: 65536
MaxBurstLength: 262144
ImmediateData: Yes
InitialR2T: Yes
MaxOutstandingR2T: 1
************************
Attached SCSI devices:
************************
Host Number: 3 State: running
scsi3 Channel 00 Id 0 Lun: 0
scsi3 Channel 00 Id 0 Lun: 1
Attached scsi disk sdb （这里发现为sdb） State: running
[root@desktop86 node2]# service iscsi status （node2的状态）
iSCSI Transport Class version 2.0-870
version 2.0-872
Target: iqn.2012-03.com.example:kevin
Current Portal: 192.168.0.24:3260,1
Persistent Portal: 192.168.0.24:3260,1
**********
Interface:
**********
Iface Name: default
Iface Transport: tcp
Iface Initiatorname: iqn.1994-05.com.redhat:12546582ea96
Iface IPaddress: 192.168.0.85
Iface HWaddress:
Iface Netdev:
SID: 2
iSCSI Connection State: LOGGED IN
iSCSI Session State: LOGGED_IN
Internal iscsid Session State: NO CHANGE
************************
Negotiated iSCSI params:
************************
HeaderDigest: None
DataDigest: None
MaxRecvDataSegmentLength: 262144
MaxXmitDataSegmentLength: 8192
FirstBurstLength: 65536
MaxBurstLength: 262144
ImmediateData: Yes
InitialR2T: Yes
MaxOutstandingR2T: 1
************************
Attached SCSI devices:
************************
Host Number: 3 State: running
scsi3 Channel 00 Id 0 Lun: 0
scsi3 Channel 00 Id 0 Lun: 1
Attached scsi disk sda （发现为sda，源存储为vda） State: running
2、在节点node1和node2上配置：
[root@desktop54 node1]# lvmconf --enable-cluster (启动CLVM的集成cluster锁)
[root@desktop54 node1]# chkconfig clvmd on
[root@desktop54 node1]# service clvmd start (clvm对lvm有效哦)
Activating VG(s): No volume groups found
[ OK ]
3、现在可以在任意一台节点client对发现的磁盘进行分区,划分出sdb1。然后格式化成网络文件系统gfs2.
[root@desktop54 node1]# pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created
[root@desktop54 node1]# vgcreate vg1 /dev/sdb1
Clustered volume group "vg1" successfully created
[root@desktop54 node1]# lvcreate -L 1G -n lv1 vg1
Error locking on node desktop85.example.com: Volume group for uuid not found: e1CQKruwtLzT6dRc9wysYIDq1Df78V0hZDs9a1sf3duPexOyv115ETnOiM9C4P36
Aborting. Failed to activate new LV to wipe the start of it.
(出现问题了，不能创建lv 我们去node2上去同步一下吧)
[root@desktop86 node2]# pvcreate /dev/sda1
Can't initialize physical volume "/dev/sda1" of volume group "vg1" without -ff (不用管，再去node2看看。)
[root@desktop54 node1]# lvcreate -L 1G -n lv1 vg1
Logical volume "lv1" created （能够创建lv了。）
[root@desktop54 node1]# /etc/init.d/clvmd start
Activating VG(s): 1 logical volume(s) in volume group "vg1" now active
[ OK ]
4、创建GFS文件系统
[root@desktop54 node1]# mkfs.gfs2 -p lock_dlm -t kevin_cluster:gfs2 -j 3 /dev/vg1/lv1
This will destroy any data on /dev/vg1/lv1.
It appears to contain: symbolic link to `../dm-0'
Are you sure you want to proceed? [y/n] y
Device: /dev/vg1/lv1
Blocksize: 4096
Device Size 1.00 GB (262144 blocks)
Filesystem Size: 1.00 GB (262142 blocks)
Journals: 3
Resource Groups: 4
Locking Protocol: "lock_dlm"
Lock Table: "kevin_cluster:gfs2"
UUID: 0E8AC404-767B-8C1A-5ADF-8B18AB157CC3
『kevin_cluster:gfs2这个kevin_cluster就是集群的名字，gfs2是定义的名字，相当于标签吧。-j是指定挂载这个文件系统的主机个数，不指定默认为1即为管理节点的。这里实验有两个节点，加上管理主机为3』
5、挂载GFS文件系统
在挂载之前将RHCS上apache服务停掉：
Services 里将apache服务disabled掉。
[root@desktop54 node1]# mount.gfs2 /dev/vg1/lv1 /var/www/html/
如果这里出现类似『fs is for a different cluster error mounting lockproto lock_dlm』错误，查看日志文件：tail -n1 /var/log/messages,当前集群名字为current="kevin_cluster"，上一步重新格式化，修改集群名就好了。
6、测试
**node1：
[root@desktop54 node1]# echo node1 > /var/www/html/index.html
[root@desktop54 node1]# service httpd start
[root@desktop24 ~]# elinks -dump 192.168.0.54 (管理主机)
node1
**node2：
[root@desktop86 node2]# mount.gfs2 /dev/vg1/lv1 /var/www/html/
[root@desktop86 node2]# service httpd start
[root@desktop24 ~]# elinks -dump 192.168.0.85 (管理主机)
node1
看，node2挂载上之后，数据还是刚刚在node1里边创建的。达到了共享存储的目的。
整合GFS文件系统和apache服务到RHCS集群套件上集中管理吧。
**Resources -> Add -> GFS2
{Name:lv1;
Mount point:/var/www/html;
Device, FS label, or UUID:/dev/vg1/lv1;
Mount options:_netdev;
Force unmount: yes}
-> Submit
**Services -> apache -> Add a resource -> lv1 -> Submit
然后启动apache服务
用浏览器访问：http://192.168.0.234
[root@desktop24 ~]# elinks -dump 192.168.0.234
client1
OK 配置成功
还可以模拟刚刚的节点故障～ 实现了需要的效果.