Corosync是OpenAIS发展到Wilson版本后衍生出来的开放性集群引擎工程。可以说Corosync是OpenAIS工程的一部分,Corosync执行高可用应用程序的通信组系统,它有以下特征: 一个封闭的程序组通信模式,这个模式提供一种虚拟的同步方式来保证能够复制服务器的状态。
一个简单可用性管理组件,这个管理组件可以重新启动应用程序的进程当它失败后。
一个配置和内存数据的统计,内存数据能够被设置,回复,接受通知的更改信息。
一个定额的系统,定额完成或者丢失时通知应用程序。
corosync是高可用集群中的Cluster Messaging Layer(集群信息层),是主要传递发集群信息与心跳信息的,并没有资源管理功能,资源管理还得依赖于上层的crm(Cluster resource Manager,集群资源管理器),最著名的资源管理器,就是pacemaker,它是heartbeat v3分离出去的子项目。而现在corosync+pacemaker成了高可用集群中的最佳组合。
pacemaker是一个群集资源管理器。它实现最大可用性群集服务(亦称资源管理)的节点和资源级故障检测和恢复使用。 它可以做乎任何规模的集群,并配备了一个强大的依赖模型,使管理员能够准确地表达群集资源之间的关系(包括顺序和位置)。几乎任何可以编写脚本,可以管理作为心脏起搏器集群的一部分。 pacemaker是个资源管理器,不是提供心跳信息的,pacemaker是一个延续的CRM(亦称Heartbeat V2资源管理器),最初是为心跳,但已经成为独立的项目。
pacemaker 特点
1.主机和应用程序级别的故障检测和恢复
2.几乎支持任何冗余配置
3.同时支持多种集群配置模式
4.配置策略处理法定人数损失(多台机器失败时)
5.支持应用启动/关机顺序
6.支持在同一台机器上运行的应用程序
7.支持多种模式的应用程序(如主/从)
8.可以测试任何故障或群集的群集状态
配置pacemaker有两种配置途径,一时命令行工具包括crm和pcs,二是图形工具:pugui,LCMC,pcsd和mgmt,其中LCMC是java编写的图形管理界面;Hawk是官方推荐代替mgmt的web界面配置工具,pcsd是pcs的图形界面。
从pacemaker1.1.8开始crmsh就作为一个独立项目不再提供需要另行下载。
crm有两种工作方式:
1.批处理模式就是在命令行中直接输入命令(如执行crm status)
2.交互式模式:运行crm,进入crm(live)# , 按2次Tab键可显示该层级所有指令
crm中常用一级命令:
configure 用于设置具体参数
resource 对已定义资源进行各种操作
ra resource agents center, 可查看哪些resource agent可供使用
cib 类似于configure,只是操作的是cib shadow
node 对节点进行各类操作
status 显示集群状态信息
cd 返回上一级
Ctrl+c 退出
configure中的指令
show 查看当前配置
verify 检查当前配置是否正确, 相当于crm_verify -L
commit 提交配置使配置生效,修改后没提交系统不会保存更改的信息
delete 删除某项配置, name为该项的名称
edit 编辑某项配置,name为该项的名称
primitive 定义资源
monitor 资源检视
group 创建组资源,将几项资源编成一组
clone 克隆已建的资源
ms/master 定义master/slave资源
primitive中参数说明
资源代理类型: lsb, ocf, stonith, service
资源代理的提供程序: heartbeat , pacemaker
资源代理名称:即resource agent, 如:IPaddr2,httpd, mysql
meta--元属性, 是可以为资源添加的选项。它们告诉 CRM 如何处理特定资源。
params--实例属性,是特定资源类的参数,用于确定资源类的行为方式及其控制的服务实例。
op--操作,默认情况下,群集不会确保您的资源一直正常。要指示群集确保资源状况依然正常,需要向资源的定义中添加一个监视操作monitor。可为所有类或资源代理添加monitor。
op_type :包括 start,stop,monitor
interval :执行操作的频率。单位:秒。
timeout : 需要等待多久才声明操作失败。
requires :需要满足什么条件才能发生此操作。允许的值:nothing、quorum 和 fencing。默认值取决于是否启用屏障和资源的类是否为 stonith。对于 STONITH 资源,默认值为 nothing。
on-fail :此操作失败时执行的操作。允许的值:
ignore:假装资源没有失败。
block:不对资源执行任何进一步操作。
stop:停止资源并且不在其他位置启动该资源。
restart:停止资源并重启动。
fence:关闭资源失败的节点 (STONITH)。
standby:将所有资源从资源失败的节点上移走。
enabled 如果值为 false,将操作视为不存在。允许的值:true、false。
下面是pacemaker的配置
yum install pacemaker cd /etc/corosync/ cp corosync.conf.example corosync.conf vim corosync.conf bindnetaddr: 172.25.9.0 #设定网段 mcastaddr: 226.94.1.1 #多波地址 mcastport:5405 #多波端口 service{ name:pacemaker #添加pacemaker服务 ver:0 #0为启动corsync时自动启动pacemaker服务,1为不接管服务 }
在其他节点做相同配置
启动corosync
/etc/init.d/corosync start crm_verify -LV #查看配置文件是否正确 crm_mon #查看节点状态
安装crm命令来配置pacemaker
yum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm -y crm #进入crm交互界面 configure show#查看当前配置
忽略法定节点数:(集群不会以为节点不够而失效)
property no-quorum-policy=ignore commi #将修改同步到其他节点
添加fence(要安装cman)
primitive vmfence stonith:fence_xvm params pcmk_host_map="server2.example.com:vm2;server3.example.com:vm3" op monitor interval=1min #server2/3.example.com是节点名,vm2/3为虚拟机名称 commi #将修改同步到其他节点
用show命令可以看到fence的添加
添加vip
primitive vip ocf:heartbeat:IPaddr2 params ip=172.25.9.100 cidr_netmask=32 op monitor interval=30s commi #将修改同步到其他节点
用crm_mon命令可以看到vip在server2主机上
添加apache服务
primitive httpd ocf:heartbeat:apache params configfile=/etc/httpd/conf/httpd.conf op monitor interval=30s commi #将修改同步到其他节点
用crm_mon命令可以看到apache运行在server3主机上
注意为了监控Apache的健康状态,并在它挂掉的时候恢复Apache服务,server-status URL是可用的:
vim /etc/httpd/conf/httpd.confSetHandler server-status Order deny,allow Allow from 127.0.0.1
粘滞服务(使得服务与vip在同一主机上运行)
colocation httpd-with-ip inf: httpd vip #方法一 group apache vip httpd #方法二 commi #将修改同步到其他节点
用crm_mon命令可以看到vip和apache都运行在server2主机上
做完实验我们可以用delete apache 和delete httpd删除apache组和服务
用drdb同步存储
primitive sqldata ocf:linbit:drbd params drbd_resource=westos op monitor interval=60s ms sqldataclone sqldata meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true
用crm_mon命令可以看到drdb已加入集群:
挂载文件系统
primitive sqlfs ocf:heartbeat:Filesystem params device=/dev/drbd1 directory=/var/lib/mysql fstype=ext4 colocation sqlfs_on_drbd inf: sqlfs sqldataclone:Master order sqlfs-after-sqldata inf: sqldataclone:promote sqlfs:start
用crm_mon命令可以看到文件系统已挂载
添加mysql服务
primitive mysql lsb:mysqld op monitor interval=60s group mygroup vip sqlfs mysql #将vip,文件系统,mysql进行粘滞