HA Cluster 之 OpenAIS---corosync

OpenAIS---corosync 

===============================================================================

概述：

===============================================================================

回顾：

 

HA解决方案：OpenAIS（开放式应用接口标准）

 1.介绍

★HA解决方案：

• vrrp协议：keepalived

• SA Forum：AIS，OpenAIS（开放式应用接口标准）

★OpenAIS：

• OpenAIS是基于SA Forum 标准的集群框架的应用程序接口规范。OpenAIS提供一种集群模式，这个模式包括集群框架，集群成员管理，通信方式，集群监测等，能够为集群软件或工具提供满足 AIS标准的集群接口，但是它没有集群资源管理功能，不能独立形成一个集群。

☉Messaging Layer（Infrastructure Layer） 

  基础结构层，负责完成主机状态传递

• HA-Aware

☉CRM（Cluster Resource Manager）  

  集群资管理器层

• 非HA-Aware 

• 管理接口：

     ·CLI：命令行接口

     ·GUI：图形用户界面 

• LRM（Local Resoure Manager）本地资源管理器

☉RA（Resource Agent）            

  资源代理层

• start|stop|restart|status  完成资源的启用、停止、重启、状态

• status：running/stopped
  

 2.各自的实现

★Messaging Layer：

• heartbeat：v1 --> v2 --> v3

• openais --> cman (cluster manager)

• openais --> corosync engine

★CRM：

☉heartbeat v1 --> haresources

• 配置文件：haresources配置文件

☉heartbeat v2 --> crm 

• 运行方式：在集群中的每个节点上运行一个crmd守护进程（5560/tcp），提供API；

• 配置接口：crmsh, hb_gui
  

☉heartbeat v3 --> pacemaker

• 配置接口：crmsh, pcs
  

☉cman --> rgmanager

  配置接口

• 配置文件：cluster.conf(xml)

• GUI: system-config-cluster

• WebGUI：conga(ricci/luci)

• CLI：cman_tool, ccs_tool, clustat, ...
  

☉corosync --> pacemaker

 3.组合方式实现及RHCS

★组合方式：

• heartbeat v1 + haresources

• heartbeat v2 + crm (crmsh, hb_gui)

• heartbeat v3 + cluster-glue + pacemaker

• corosync + pacemaker

   ·corosync v1 + pacemaker (plugin)   //CentOS 6 

   · corosync v2 (quorumsystem) + pacemaker (standalone daemon) //CentOS 7

• cman + rgmanager

• cman + corosync v1 + pacemaker

★RHCS：RedHat Cluster Suite （红帽集群套件）

☉RHEL5: 

• cman + rgmanager + conga(ricci/luci)

☉RHEL6：

• cman + rgmanager + conga(ricci/luci)

• corosync v1 + pacemaker + crmsh/pcs

• cman + corosync v1 + pacemaker + crmsh/pcs

☉RHEL7：

• corosync v2 + pacemaker + pcs 
  

 4.quorum：投票系统

★目的：

• network partition：brain-split 防止网路分区（脑裂），资源征用

★quorum system：投票系统

• node: vote 每个节点都拥有投票权
  

☉with quorum：votes > total/2 

• 拥有法定票数：得到的票数 > 总票数/2
  

☉without quorum: votes <= total/2  

• 不再拥有法定票数： 得到的票数 <= 总票数/2

• no_quorum_policy  不再拥有法定票数的策略：

     ·stop    //停止（默认）

     ·ignore

     ·suicide //自杀

     ·freeze  //冻结

★fecing： 隔离

☉node level（节点级别）：STONITH （Shooting The Other Node In The Node） 

• stonith device：隔离设备

     ·hardware：power switch（电源交换机）, ...

     ·software：virtulization kvm/xen/...，ssh/telnet, ...

     ·meatware：人工智能

☉resource level：资源级别

• fc switch  //光纤交换机

★特殊场景：two nodes cluster

☉no_quorum_policy

• ignore

☉quorum device   //仲裁设备

• ping node

• quorum disk
  

  5.集群事务信息及心跳信息的传递方式：

★集群事务信息及心跳信息的传递方式：

• unicast    //单播

• multicast  //多播（多数采用的方式）

• broadcast  //广播
  

  6.Resource Allocation Layer：资源管理

★Resource Allocation Layer：

• DC：Designated Coordinator 指派的协调员来管理控制资源

★Component：组件

☉DC：

• CRM，CIB（Cluster Information Base），PE（Policy Engine），LRM
  

☉非DC：

• CRM，CIB，LRM

★资源类型：

☉primitive：基本资源、主资源

• 仅能运行一份，仅能运行于单个节点；
  

☉group：组

• 将一个或多个资源组织成为一个可统一管理的单一单位；
  

☉clone：克隆

• 一个资源可以在集群中运行多个副本；可以运行于多个节点；
  

☉multi-state(master/slave)：

• 是clone类型的资源的特殊表现，存在多个副本，副本间存在主从关系；drbd是常见的此类应用；

★集群的架构类型：

☉两个节点

• A/P，A/A

☉N个节点：

• N-1：N个节点运行一个服务；

• N-M：N个节点运行M个服务，M

• N-N：N个节点运行N个服务；

★资源倾向性：资源的约束关系；

• score：(-oo, +oo)

    ·正数：正倾向性；

    ·负数：负倾向性；

• location：位置约束，资源对节点的倾向性；

• colocation：排列约束，资源与资源运行于同一节点的倾向性；

• order：顺序约束，定义资源间的依赖关系；
  

  7.RA：资源代理

★类别：

☉LSB：/etc/rc.d/init.d/*

• 脚本，支持start|stop|status|restart|reload|force-reload；

• 注意：一定不能设置为开机自动启动；
  

☉OCF：Open Cluster Framework

• /usr/lib/ocf/resource.d/provider/目录下；

• 类似于LSB的脚本，但支持start|stop|status|monitor|meta-data等；
  

☉systemd unti file：/usr/lib/systemd/system

• 注意：一定要设置为enable；

☉STONITH：专用于配置stonith设备的RA；

☉service：

corosync+pacemaker 集群配置（CentOS 7）

 1.corosync安装配置详解

★CentOS 7：

• corosync v2 (quorum system) + pacemaker (standalone daemon) + crmsh/pcs

★安装配置：

☉前提：

• 时间同步、主机名解析、多播地址；

☉安装：

• 各节点安装相关的程序包，corosync/pacemaker

★corosync的程序环境：

• 配置文件：/etc/corosync/corosync.conf

• 密钥文件：/etc/corosync/authkey

• Unit File：corosync.service

★corosync配置文件格式：

• totem协议：节点间的通信协议，主要定义通信方式、通信协议版本、加密算法等 

• interface{}:定义集群心跳信息传递的接口，可以有多组；

• ringnumber（环号）：

• bindnetaddr（绑定的网络地址）

• mcastaddr（多播地址）

• mcastport（实现多播地址的端口）

• ttl（一个报文最多被中继转发多少次，一般设置为 1）

• version（配置文件版本）：目前取值仅有2一项可用

• crypto_hash：哈希加密算法  md5, sha1, sha256, sha384 and sha512.

• crypto_cipher：对称加密算法 aes256, aes192, aes128 and 3des

配置示例：

★生成authkey：

• corosync-keygen
  

★启动服务：

• systemctl start corosync.service

★验正服务启动：

(1)查看日志；

(2)corosync-cmapctl| grep members 

(3)corosync-cfgtool：管理工具；

• -s：显示当前节点各ring相关的信息；

• -R：控制所有节点重载配置；

 2.pacemaker：

★程序环境：

• 配置文件：/etc/sysconfig/pacemaker

• 主程序：/usr/sbin/pacemakerd

• Unit File：pacemaker.service

★启动服务：

• systemctl start pacemaker.service 

★监控服务启动是否正常：

• # crm_mon 

★配置接口（crmsh/pcs）

☉crmsh：

※运行方式：

• 交互方式：crm(live)#

• 命令方式：crm COMMAND

※获取帮助：ls, help

• help [KEYWORD]

☉COMMAND：