LINUX6.3下RHCS的安装文档

LINUX6.3下RHCS的安装及集群的配置文档

 

环境:

目前要给华为E6000系列的两个刀片安装RHCS,每一块刀片有两个业务网口和一个管理网口,但是看不见不物理网卡,而是连接到刀片自身携带的一个交换机板卡。两台刀片主要是实现服务器地址的漂移,即运行服务的机器出现故障,服务可以顺利切换到另外一台,当然也可以添加其他资源(比如apache,脚本)实现集群功能,不过内容都相同,只是在配置界面的时候添加的资源不一样。

刀片1,2的hosts文件:

172.16.32.1     host1

172.16.32.2     host2

 

172.16.14.21   hosthb1

172.16.14.22   hosthb2

 

172.16.14.1     host1_ipmi

172.16.14.2     host2_ipmi

 

172.16.32.15   service

简单说明一下地址含义,第一组为业务地址,配置在网卡eth0上;第二组为心跳地址,配置在网卡eth1上,这个地址与QDISK有关;第三组为每一块刀片的管理地址,配置在BMC芯片上,这个地址是与fence设备有关的,最后一个地址为服务地址,即在集群中真正提供服务的地址。

解释一下RHCS里的几个重点的关键词,弄明白这些个东西是什么和工作原理很重要。

 

Fence device:即隔离设备。一个集群中有两台机器,其中占有资源提供服务,当这台机器出现问题,另一台机器就会接管资源与服务,可是如果出问题的设备如果是假死,那么他可能仍然占用着资源(共享存储之类的),这样就可能会造成两台机器同时对存储进行读写而产生错误,学名脑裂现象。这时候就需要fence设备了,当一台设备出现问题,则通过BMC芯片去控制它的电源使它断电、重启,这样资源就会被释放了。隔离设备可以理解为BMC芯片,BMC芯片可以控制服务器电源的开关,重启。之前我们说过每一个刀片都有一个BMC口(管理口),但这个口在操作系统层面上是看不到,不像其他网卡用ifconfig能看到eth0,eth1的详细信息。想要管理这个口可以安装操作系统自带的ipmi相关程序包     

freeipmi-0.7.16-3.el6.i686.rpm

freeipmi-0.7.16-3.el6.x86_64.rpm

freeipmi-bmc-watchdog-0.7.16-3.el6.x86_64.rpm

freeipmi-ipmidetectd-0.7.16-3.el6.x86_64.rpm

ipmitool-1.8.11-13.el6.x86_64.rpm

OpenIPMI-2.0.16-12.el6.x86_64.rpm

OpenIPMI-libs-2.0.16-12.el6.x86_64.rpm

64位机器装64位的就好,关于IPMI给的接口的具体用法后面再介绍。程序包安装完了以后就可以通过IPMI这个软件包与BMC芯片联系起来。另外BMC网口对应一个管理地址,这个地址是需要进入到刀片BIOS里的IPMI相关选项里设置的,要设置它的用户名、密码和IP地址,这些信息在配置集群的时候会用到。我们把BMC的地址和eth1的地址设在同一网段,这样系统就可以与BMC芯片进行通讯了,进而控制服务器的启停。

 

QDISK俗称仲裁盘,通过心跳地址用来判断集群里的设备状态是否正常。一般1G大小的共享存储即可。

Failover Domain:失败域,即节点切换策略

 

 

软件安装之前先把ip地址都配置好,包括修改bios里面的ipmi配置。

RHCS软件安装:

安装RHCS需要用到系统自带光盘中的一些软件包,具体如下:

 

HighAvailability  LoadBalancer  Packages  ResilientStorage  ScalableFileSystem  Server

先将这些包(文件夹)拷贝至/mnt目录下,也可以不拷贝,把YUM源设置好就可以了。

 

Yum源的设置

# vi /etc/yum.repos.d/rhel-source.repo

[root@host1 yum.repos.d]# cat rhel-source.repo

[rhel-source]

name=Red Hat Enterprise Linux $releasever - $basearch - Source

baseurl=file:///mnt/Packages

enabled=0

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

 

[rhel-source-beta]

name=Red Hat Enterprise Linux $releasever Beta - $basearch - Source

baseurl=file:///mnt/Packages

enabled=0

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-beta,file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

 

[Server]

name=Server

baseurl=file:///mnt/Server

enabled=1

gpgcheck=0

 

[HighAvailability]

name=HighAvailability

baseurl=file:///mnt/HighAvailability

enabled=1

gpgcheck=0

 

[LoadBalancer]

name=LoadBalancer

baseurl=file:///mnt/LoadBalancer

enabled=1

gpgcheck=0

 

[ScalableFileSystem]

name=ScalableFileSystem

baseurl=file:///mnt/ScalableFileSystem

enabled=1

gpgcheck=0

 

[ResilientStorage]

name=ResilientStorage

baseurl=file:///mnt/ResilientStorage

enabled=1

gpgcheck=0

 

保证每个软件包的baseurl路径正确即可。

 

 

安装软件:

# yum install cluster-glue resource-agents pacemaker

 

选Y

# yum install luci ricci cman  openais rgmanager lvm2-cluster gfs2-utils

 

选Y

启动HA服务:

# service luci start

# service ricci start

# service rgmanager start

# service cman start

改变服务的运行级别:

cman            0:off   1:off   2:on    3:on    4:on    5:on    6:off

rgmanager       0:off   1:off   2:on    3:on    4:on    5:on    6:off

luci            0:off   1:off   2:on    3:on    4:on    5:on    6:off

ricci           0:off   1:off   2:on    3:on    4:on    5:on    6:off

修改ricci用户的密码

Passwd ricci,改为root用户密码即可。

 

创建QDISK盘

用法:mkqdisk -L | -f <label> | -c <device> -l <label>

 

mkqdisk -c /dev/sdb -l qdisk

这里把一块1G的/dev/qdisk配置成了一块叫qdisk的仲裁盘

Ping一下心跳和BMC口的地址,应该都OK。

看一下host1能否管理host2电源模块

ipmitool -I lan -H 172.16.14.2(第二台机器的BMC口地址) -U root(用户名) -P Aa@123456(密码) power status

[root@host1 ~]# ipmitool -I lan -H 172.16.14.2 -U root -P Aa@123456 power status

Chassis Power is on

 

集群的创建

在确保主节点的luci,ricci服务起来之后,进入https://172.16.32.1:8084集群配置页面。

用你设置的ricci密码登陆以后开始创建集群:

                       

加节点:

 

这里的jyapp_01hb,jyapp_02hb就是我们hosthb1,hosthb2。

 

配置基本默认,没什么好说的。

Fence Devices的添加:

 

选择IPMI LAN,当然各厂家的FENCE设备不一样根据情况配置。

 

输入之前配置好的用户名,密码,IP地址

两台设备两个fence 设备。

创建完成之后跟节点关联。

 

先添加fence method,方法名随便,之后关联起来创建的fence实例。一一对应即可。

 

 

 

 

 

 

 

 

FAILOVER DOMAIN配置:

 

失败域配置,Prioritized即有优先级,Restricetd限定运行服务节点的机器范围,no fackback 不回切,当故障机器恢复可用以后,服务不回切。优先级的值越低,优先级别越高,0不可用。

RESOURCE添加:

 

资源添加,这里我们只添加一个服务器地址(漂移地址)

Note:后面我们又添加了一个脚本资源,脚本的作用是启动一个中间件然后启动应用,而且必须有先后顺序,这个顺序的实现在脚本中可以实现。而脚本的启用和服务地址的启动也有先后顺序,必须是先让服务地址启用之后应用才可以启动。所以在添加这两个资源的时候就有点不一样了,需要先添加服务地址资源,然后添加服务资源的child resource,先有parent才有child.这样就有先后顺序了。如果在顺序上没有要求,增加两个同级的资源即可。脚本内容及解释见文档末尾。

 

 

 

 

 

 

 

SERVICE GROUP添加:

 

服务配置,选择好我们的失败域,自动开始打勾,run exclusive,服务只会在“没有运行其他服务的节点”上运行,可以不选;恢复策略选择重新定位,即切换到另一个节点。

 

默认的不说了,需要设置的说一下,多播地址最好设置一个,不设置也默认的,但是一个业务系统中如果有多套RHCS,多播地址就要不一样了。

 

QDISK,用我们设置的label来识别,工作机制是每2秒ping一下网关,ping通得1分,不通不得分,ping 10次,最小得分为1分,则不需要切换。也就是说连续10次ping这个网关只要其中有一次是通的则OK。

ping -c1 -t1 172.16.14.254

到这里就配置完了。

 

我们可以看一下这个集群的状态。

[root@jyapp_01 ~]# clustat

Cluster Status for jyapp_cluster @ Tue Dec 24 14:25:50 2013

Member Status: Quorate

 

 Member Name                                                     ID   Status

 ------ ----                                                     ---- ------

 jyapp_01hb                                                          1 Online, Local, rgmanager

 jyapp_02hb                                                          2 Online, rgmanager

 /dev/block/8:16                                                     0 Online, Quorum Disk

 

 Service Name                                             Owner (Last)                                             State        

 ------- ----                                             ----- ------                                             -----        

 service:jysg                                             jyapp_01hb                                               started     

 

都ONLINE,服务在正常运行。

[root@jyapp_01 ~]# cman_tool status

Version: 6.2.0

Config Version: 19

Cluster Name: jyapp_cluster

Cluster Id: 469

Cluster Member: Yes

Cluster Generation: 28

Membership state: Cluster-Member

Nodes: 2

Expected votes: 3

Quorum device votes: 1

Total votes: 3

Node votes: 1

Quorum: 2 

Active subsystems: 11

Flags:

Ports Bound: 0 11 177 178 

Node name: jyapp_01hb

Node ID: 1

Multicast addresses: 239.192.14.111

Node addresses: 172.16.14.21

用cman_tool status看到个票数都正常,每个节点一票,QDISK一票,总共3票,期望值是3票。死一个节点,期望值少一票。

最后验证一下切换

[root@jyapp_01 ~]# clusvcadm -r jysg

Trying to relocate service:jysg...Success

service:jysg is now running on jyapp_02hb

节点手动切换成功。经过测试,网卡故障,断电都能正常切换。

 

 

                                                   

脚本:

#!/bin/bash

 

start() {

        su - tuxedo -c "tmboot -y"

        RETVAL=$?

        su - trade -c "cd /home/trade/app/bin && tmboot -y"

        RETVAL=$?

       

        return $RETVAL

}

 

stop() {

        su - trade -c "cd /home/trade/app/bin && tmshutdown -y"

        RETVAL=$?

        su - tuxedo -c "tmshutdown -y"

        RETVAL=$?

 

        return $RETVAL

}

 

case "$1" in

  start)

        start

        ;;

  stop)

        stop

        ;;

  status)

        RETVAL=0

        ;;

  restart)

        stop

        start

        ;;

  *)

        echo $"Usage: tuxedo.sh {start|stop|restart}"

        RETVAL=2

esac

exit $RETVAL 

该脚本先是定义了两个函数,启动应用,停止应用。每次执行都会有一个返回值。主程序执行的时候就会根据返回值的不同值执行不同的操作,启动,停止,目前状态,重新加载。

from: 周文屿[email protected]

 

你可能感兴趣的:(linux)