高可用集群RHCS配置

高可用集群 :RHCS

RHCS 的集群套件                                                       

       集群基础套件： coresync/openais ， CCS( 集群配置服务 ) 同步节点数据 ， CMAN/DLM , Fencing

       HA Service Mangement ： rgmanager

       共享存储 ： GFS and CLVM

       集群超级工具 : iSCSI

       fence 设备相当于 stonith 设备，在 RHCS 里叫做 fence

 

RHCS 的两个节点的集群是比较特殊的， quorum 将失去意义 要靠 quorum disk 实现

       quorum disk ：探测对方是否在一个共享存储上写数据来判断是否正常 解决资源争用

 

ccs_tool ：集群配置系统工具，实现节点配置文件数据的同步

cman_tool ：集群管理器

clustat ：

clvmd: 用在集群中的逻辑卷

clusvcadm ：

rgmanager: 定义资源组

 

RHCS 的架构配置：高可用集群

       yum groupinstall Clustering 即可或者单独安装 ：                                                    

       yum  install rgmanager  modcluster  cluster-cim   cluster-snmp   ricci( 每个节点都需要 )

        重启 ricci ： service ricci restart

       查看 ricci 端口为 11111

       安装 luci( 服务管理接口需要即要在 realserver 上安装 )

       初始化： luci_admin  init ( 会要求输入 admin 登陆的密码 )

       重启服务： service luci restart  会显示访问方法

       本机测试并进行图形界面配置： https://node1.a.com:8084  

 

节点访问同一个共享存储设备，节点之间可以看到对方的文件 使用集群文件系统，节点要配置成高可用集群

 

基于 RHCS 的集群文件系统：

       服务端 eth0 ： 192.168.0.190

       客户端： node1 eth0 192.168.0.187

              node2 eth0 192.168.0.188

              node3 eth0 192.168.0.189

       服务端配置：安装 scsi-target-utils 配置 iscsi 服务

       客户端配置：安装 iscsi-initiator-utils  配置 iscsi 服务可以发现即可

              配置 RHCS 集群：

              yum install ricci 节点都需要安装

              开启 ricci

              yum install luci 服务接口管理需要安装 192.168.0.187

              luci_admin  init

              service luci restart

              图形界面配置 RHCS ： https://192.168.0.187:8084

              cluster--create a new cluster--cluster name(gfs) node hostname node1.a.com.. 点选 download 和 enable shared                  storge support---view ssl cert--submit 开始安装

              客户端查看集群状态：

              cman_tool status 或者 cluster

              ccs_tool lsnode 查看 node

              ccs_tool -h 查看有哪些命令可用

              ccs_test connect

              service cman status 查看 cman 状态

              service rgmanager start 三个节点都要开启

              配置节点 lvm 的都支持集群的形式： clvm

              lvmconf --enable-cluster 三个节点都需要

              查看 grep "locking_type" /etc/lvm/lvm.conf 为 3

              service clvmd start 超时 #

              ps aux | grep clvmd 在线

              lsmod | grep gfs

              ps aux | grep dlm  分布式锁要开启

              登陆 iscsi 的 192.168.0.187 上配置

              iscsiadm -m discovery  -t sendtargets -p 192.168.0.190

              iscsiadm  -m node -T  iqn.2011-02.com.a.node1:appdata -p 192.168.0.65 -l

             

              配置集群的 fence ：图形界面 3 个节点都需要添加 fence 设备

              cluster list --gsf--nodes--manage fencing for this node--- 勾选 cman rgmanager--add a fence device                            (gfs_fence)----updata main fence properties

              故障转移域配置 ：

              failover domains--add failover domain--name(gfs)-- 将 3 个节点都添加 --submit

              点选 shared fence device 可以看到配置信息

              配置资源：

              recourse--add a resource---type

             

              集群文件查看是否正常 vim /etc/cluster/cluster.conf

                     ccs_tool lsfence

                     ccs_tool lsnode

                     service gfs start

                     service gfs2 restart

                     service clvmd start

              创建 lvm: 在一个节点上即可

                     pvcreate /dev/sdb

                     vgcreate vg0 /dev/sdb

                     lvcreate -L 5G -n gfsdata vg0

                     lvdisplay 查看

                     gfs_mkfs -p lock_dlm -t gfs:gfsdata -j 4 /de/vg0/gfsdata  格式化

              在节点上挂载即可

                     mount -o -t gfs  /dev/vg0/gfsdata /mnt

                     gfs_tool list 查看 gfs 列表

这样就可以同步节点之间的文件同步了