Corosync是OpenAIS发展到Wilson版本后衍生出来的开放性集群引擎工程。可以说Corosync是OpenAIS工程的一部分,Corosync执行高可用应用程序的通信组系统,它有以下特征: 一个封闭的程序组通信模式,这个模式提供一种虚拟的同步方式来保证能够复制服务器的状态。

        一个简单可用性管理组件,这个管理组件可以重新启动应用程序的进程当它失败后。

        一个配置和内存数据的统计,内存数据能够被设置,回复,接受通知的更改信息。

        一个定额的系统,定额完成或者丢失时通知应用程序。

        corosync是高可用集群中的Cluster Messaging Layer(集群信息层),是主要传递发集群信息与心跳信息的,并没有资源管理功能,资源管理还得依赖于上层的crm(Cluster resource Manager,集群资源管理器),最著名的资源管理器,就是pacemaker,它是heartbeat v3分离出去的子项目。而现在corosync+pacemaker成了高可用集群中的最佳组合。

         pacemaker是一个群集资源管理器。它实现最大可用性群集服务(亦称资源管理)的节点和资源级故障检测和恢复使用。 它可以做乎任何规模的集群,并配备了一个强大的依赖模型,使管理员能够准确地表达群集资源之间的关系(包括顺序和位置)。几乎任何可以编写脚本,可以管理作为心脏起搏器集群的一部分。 pacemaker是个资源管理器,不是提供心跳信息的,pacemaker是一个延续的CRM(亦称Heartbeat V2资源管理器),最初是为心跳,但已经成为独立的项目。

pacemaker 特点

1.主机和应用程序级别的故障检测和恢复

2.几乎支持任何冗余配置

3.同时支持多种集群配置模式

4.配置策略处理法定人数损失(多台机器失败时)

5.支持应用启动/关机顺序

6.支持在同一台机器上运行的应用程序

7.支持多种模式的应用程序(如主/从)

8.可以测试任何故障或群集的群集状态

       配置pacemaker有两种配置途径,一时命令行工具包括crm和pcs,二是图形工具:pugui,LCMC,pcsd和mgmt,其中LCMC是java编写的图形管理界面;Hawk是官方推荐代替mgmt的web界面配置工具,pcsd是pcs的图形界面。

从pacemaker1.1.8开始crmsh就作为一个独立项目不再提供需要另行下载。

crm有两种工作方式:

1.批处理模式就是在命令行中直接输入命令(如执行crm status)

2.交互式模式:运行crm,进入crm(live)# , 按2次Tab键可显示该层级所有指令

crm中常用一级命令:

configure 用于设置具体参数

resource 对已定义资源进行各种操作

ra resource agents center, 可查看哪些resource agent可供使用

cib 类似于configure,只是操作的是cib shadow

node 对节点进行各类操作

status 显示集群状态信息

cd 返回上一级

Ctrl+c 退出

configure中的指令

show 查看当前配置

verify 检查当前配置是否正确, 相当于crm_verify -L

commit 提交配置使配置生效,修改后没提交系统不会保存更改的信息

delete 删除某项配置, name为该项的名称

edit 编辑某项配置,name为该项的名称

primitive 定义资源

monitor 资源检视

group 创建组资源,将几项资源编成一组

clone 克隆已建的资源

ms/master 定义master/slave资源

primitive中参数说明

资源代理类型: lsb, ocf, stonith, service

资源代理的提供程序: heartbeat , pacemaker

资源代理名称:即resource agent, 如:IPaddr2,httpd, mysql

meta--元属性, 是可以为资源添加的选项。它们告诉 CRM 如何处理特定资源。

params--实例属性,是特定资源类的参数,用于确定资源类的行为方式及其控制的服务实例。

op--操作,默认情况下,群集不会确保您的资源一直正常。要指示群集确保资源状况依然正常,需要向资源的定义中添加一个监视操作monitor。可为所有类或资源代理添加monitor。

op_type :包括 start,stop,monitor

interval :执行操作的频率。单位:秒。

timeout : 需要等待多久才声明操作失败。

requires :需要满足什么条件才能发生此操作。允许的值:nothing、quorum 和 fencing。默认值取决于是否启用屏障和资源的类是否为 stonith。对于 STONITH 资源,默认值为 nothing。

on-fail :此操作失败时执行的操作。允许的值:

ignore:假装资源没有失败。

block:不对资源执行任何进一步操作。

stop:停止资源并且不在其他位置启动该资源。

restart:停止资源并重启动。

fence:关闭资源失败的节点 (STONITH)。

standby:将所有资源从资源失败的节点上移走。

enabled 如果值为 false,将操作视为不存在。允许的值:true、false。

下面是pacemaker的配置

yum install pacemaker
cd /etc/corosync/
cp corosync.conf.example corosync.conf
vim corosync.conf
  bindnetaddr: 172.25.9.0  #设定网段
  mcastaddr: 226.94.1.1    #多波地址
  mcastport:5405          #多波端口
service{
    name:pacemaker   #添加pacemaker服务
    ver:0    #0为启动corsync时自动启动pacemaker服务,1为不接管服务
}

在其他节点做相同配置

启动corosync

/etc/init.d/corosync start
crm_verify -LV   #查看配置文件是否正确
crm_mon          #查看节点状态

Corosync+pacemaker_第1张图片

安装crm命令来配置pacemaker

yum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm -y
crm  #进入crm交互界面
  configure 
  show#查看当前配置

Corosync+pacemaker_第2张图片

忽略法定节点数:(集群不会以为节点不够而失效)

property no-quorum-policy=ignore
commi  #将修改同步到其他节点

添加fence(要安装cman)

primitive vmfence stonith:fence_xvm params pcmk_host_map="server2.example.com:vm2;server3.example.com:vm3" op monitor interval=1min #server2/3.example.com是节点名,vm2/3为虚拟机名称
commi  #将修改同步到其他节点

用show命令可以看到fence的添加

添加vip

primitive vip ocf:heartbeat:IPaddr2 params ip=172.25.9.100 cidr_netmask=32 op monitor interval=30s
commi  #将修改同步到其他节点

用crm_mon命令可以看到vip在server2主机上

Corosync+pacemaker_第3张图片

添加apache服务

primitive httpd ocf:heartbeat:apache params configfile=/etc/httpd/conf/httpd.conf op monitor interval=30s 
commi  #将修改同步到其他节点

用crm_mon命令可以看到apache运行在server3主机上

Corosync+pacemaker_第4张图片

注意为了监控Apache的健康状态,并在它挂掉的时候恢复Apache服务,server-status URL是可用的:

vim /etc/httpd/conf/httpd.conf
    
        SetHandler server-status    
        Order deny,allow
        Allow from 127.0.0.1
    

粘滞服务(使得服务与vip在同一主机上运行)

colocation httpd-with-ip inf: httpd vip #方法一
group apache vip httpd      #方法二
commi  #将修改同步到其他节点

用crm_mon命令可以看到vip和apache都运行在server2主机上

做完实验我们可以用delete apache 和delete httpd删除apache组和服务

用drdb同步存储

primitive sqldata ocf:linbit:drbd params drbd_resource=westos op monitor interval=60s
ms sqldataclone sqldata meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true

用crm_mon命令可以看到drdb已加入集群:

Corosync+pacemaker_第5张图片

挂载文件系统

primitive sqlfs ocf:heartbeat:Filesystem params device=/dev/drbd1 directory=/var/lib/mysql fstype=ext4
colocation sqlfs_on_drbd inf: sqlfs sqldataclone:Master 
order sqlfs-after-sqldata inf: sqldataclone:promote sqlfs:start

用crm_mon命令可以看到文件系统已挂载

Corosync+pacemaker_第6张图片

添加mysql服务

primitive mysql lsb:mysqld op monitor interval=60s
group mygroup vip sqlfs mysql #将vip,文件系统,mysql进行粘滞