RHCS集群安装部署

RHCS集群安装部署

组件介绍:

luci: rhcs集群管理工具-主控端
ricci: rhcs集群管理工具-受控端
rgmanager: 高可用性服务管理
cman: 集群管理
clvm: 集群式逻辑卷管理
gfs2: 集群文件系统
iscsi-target-utils: iscsi服务端
iscsi-initiator: iscsi发起端

安装准备

虚拟机3台: 管理服务器1台, 集群服务器2台
添加hosts文件解析

[root@luci ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.80   luci
10.0.0.81   rhcs01
10.0.0.82   rhcs02

添加USTC源

[root@luci ~]# cat /etc/yum.repos.d/ustc.repo
[ustc]
name = ustc
baseurl = http://centos.ustc.edu.cn/centos/6.6/os/x86_64/
gpgcheck=0
enable=1

[updates]
name = updates
baseurl = http://centos.ustc.edu.cn/centos/6.6/updates/x86_64/
gpgcheck=0
enable=1

[extras]
name = extras
baseurl = http://centos.ustc.edu.cn/centos/6.6/extras/x86_64/
gpgcheck=0
enable=1

[fasttrack]
name = fasttrack
baseurl = http://centos.ustc.edu.cn/centos/6.6/fasttrack/x86_64/
gpgcheck=0
enable=1

禁用防火墙

[root@luci ~]# iptables -F
[root@luci ~]# service iptables save
[root@luci ~]# chkconfig iptables off
[root@luci ~]# sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
[root@luci ~]# yum makecache
[root@luci ~]# yum upgrade -y
[root@luci ~]# init 6

安装RHCS工具

管理服务器安装luci

[root@luci ~]# yum install luci -y
[root@luci ~]# service luci start
[root@luci ~]# chkconfig luci on

浏览器访问 http://10.0.0.80:8084 使用root帐号密码即可登陆管理界面

集群节点安装ricci rgmanager cman

[root@rhcs01 ~]# yum install ricci rgmanager cma -y
[root@rhcs01 ~]# chkconfig ricci on
[root@rhcs01 ~]# chkconfig rgmanager on
[root@rhcs01 ~]# chkconfig cman on
[root@rhcs01 ~]# service ricci start
[root@rhcs01 ~]# service rgmanager start
[root@rhcs01 ~]# service rgmanager start

注意: Starting cman… xmlconfig cannot find /etc/cluster/cluster.conf [FAILED]
是因为节点还没有加入集群，没有产生配置文件/etc/cluster/cluster.conf

修改ricci密码

[root@rhcs01 ~]# passwd ricci

在web管理界面打开Manage Clusters —> Create

注意: 添加节点时: Authentication to the ricci agent at 10.0.0.81.:11111 failed 报错是由于ricci没有设置密码

节点服务器自动重启后

在节点中查看为online即可

注意:rhcs02启动无法加入节点,状态显示offline
Starting cman… xmlconfig cannot find /etc/cluster/cluster.conf [Failed]

把rhcs01上的配置文件内容复制到rhcs02即可
安装ISCSI服务端
在luci服务器上增加第二块硬盘20G

[root@luci ~]# yum install scsi-target-utils -y

修改配置文件/etc/tgt/targets.conf
在末行添加一下内容

 
    backing-store /dev/sdb 
    initiator-address 10.0.0.0/24
    write-cache off

重新启动服务

[root@luci ~]# service tgtd restart
[root@luci ~]# chkconfig tgtd on
[root@luci ~]# tgt-admin --show   #查看当前的scsi配置

安装ISCSI客户端
两台集群服务器均要安装

[root@rhcs01 ~]# yum -y install iscsi-initiator-utils
[root@rhcs01 ~]# service iscsid for-start
[root@rhcs01 ~]# echo " service iscsid for-start" >> /etc/rc.local

发现远端的iqn

[root@rhcs01 ~]# iscsiadm --mode discovery --type sendtargets --portal 10.0.0.80

连接lun

[root@rhcs01 ~]# iscsiadm -m node -T iqn.2014-09.com.example:target1 -p 10.0.0.80 -l

fdisk -l 即可查看到
安装CLVM集群卷管理
两台集群服务器均要安装

[root@rhcs01 ~]# yum install lvm2-cluster -y
[root@rhcs01 ~]# chkconfig clvmd on
[root@rhcs01 ~]# grep "locking_type" /etc/lvm/lvm.confg 确定值为3,否则改为3
[root@rhcs01 ~]# service clvm start
[root@rhcs01 ~]# chkconfig clvm on
[root@rhcs01 ~]# pvcreate /dev/sdb
[root@rhcs01 ~]# vgcreate iscsivg /dev/sdb
[root@rhcs01 ~]# lvcreate -L 20G -n iscsilv01 iscsivg
[root@rhcs01 ~]# lvs

安装GFS2文件系统
两台集群服务器均要安装

[root@rhcs01 ~]# yum install gfs2-utils -y

格式化为gfs2，设定锁机制及2份journal，-t分两部分，集群名:设备名，格式化的时间有点长，耐心等待

[root@rhcs01 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t rhcs-cluster:gfs2Storage /dev/iscsivg/iscsilv01

注意:因为暂没有可用卷组，所以启动时会有提示”Activating VG(s): No volume groups found”，但不影响正常启动

安装apacache作为测试业务

[root@rhcs01 ~]# yum install httpd -y
[root@rhcs01 ~]# mount -t gfs2 /dev/iscsivg/iscsilv01 /var/www/html
[root@rhcs01 ~]# echo "/dev/iscsivg/iscsilv01 /var/www/html gfs2 defaults 0 0" >> /etc/fstab

创建测试页面

[root@rhcs01 ~]# echo "rhcs test" > /var/www/html/index.html

集群资源配置
访问Luci集群管理web界面
添加故障域
Failover Domains -> Add
添加资源
Resources -> Add
添加服务组 Service Group -> Add
点击Add Resource依次把IP Address,GFS2,Script资源添加进来
提交后启动服务组即可

现在可以通过访问VIP http://10.0.0.83 到测试页面