heartbeat和Pacemaker配置

安装完成之后，要开始配置了，heartbeat和Pacemaker都需要配置。heartbeat主要是配置/etc/ha.d/ha.cf和 /etc/ha.d/authkeys这两个文件;Pacemaker的配置文件是xml格式的，主要通过crm这个命令行工具来配置。
ha.cf和authkeys的配置

/etc/ha.d/ha.cf — 全局的集群配置文件。

/etc/ha.d/authkeys — 这个文件里包含了key,用于属于一个集群的不同节点之间的相互认证。

ha.cf文件

下面是一个简单的配置文件。

autojoin none 关闭节点自动加入集群功能，集群中只包括下面 node指令指明的节点。如果设为any则支持节点自动加入集群。
bcast eth0 不同节点之间的信息通信方式，这里是通过eth0端口广播;还支持单播，组播的方式。
warntime 5 如果某节点5秒没有响应，则发出警告：这个节点可能挂掉了。
deadtime 15 如果某节点15秒没有响应，则认定这个节点挂掉了。
initdead 60 集群刚完成初始化，如果60秒没有响应，认定某个节点挂掉。
keepalive 2 “心跳”信号2秒一次，用来判断各个节点的健康情况
node vm1 声明集群中一个节点，vm-1-2是hostname,记得在/etc/hosts加入
node vm2
node vm3
crm respawn 启动Pacemaker，并且Pacemaker启动失败会自动重启。
logfile /var/log/ha-log heartbeat的log

关于ha.cf的详细manul请查看http://people.linbit.com/~florian/heartbeat-users-guide/re-hacf.html

authkeys文件

这个文件应该只对root可读，建议权限设为600.这个文件格式很简单如下

auth num
num algorithm secret

num 只是校验方法的索引，一般只用一种校验方法即可。

algorithm 是规定使用哪中签名算法，目前支持CRC，sha1,md5(不建议用crc).

secret 是实际的认证key.

一个example:

auth 1
1 md5 qwer

官方推荐的生成authkeys文件的方法：

( echo -ne “auth 1\n1 sha1 “; \
dd if=/dev/urandom bs=512 count=1 | openssl md5 ) \
> /etc/ha.d/authkeys
chmod 0600 /etc/ha.d/authkeys

验证配置

配置好ha.cf和authkeys之后，将这两个文件拷贝到vm-1-2,vm-2-2,vm-3-2的/etc/ha.c下

/etc/init.d/heartbeat start，然后运行crm_mon查看集群的情况。

============
Last updated: Fri Dec 25 22:59:15 2009
Stack: Heartbeat
Current DC: vm3 (952cbf63-ec62-4371-942a-626022c113ba) – partition with quorum
Version: 1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe
3 Nodes configured, unknown expected votes
0 Resources configured.
============

Online: [ vm1 vm2 vm3 ]

现在集群已经工作了，当前DC是vm3节点。DC是集群的中心决策节点，是自动选出的。如果当前的DC挂掉，新的DC会自动从剩余的节点中选出。

当heartbeat已经正常工作之后，就该配置集群资源管理器Pacemaker了。Pacemaker的配置文件是xml格式的：/var/lib/heartbeat/cib.xml。

一般修改配置时不要直接对xml文件做修改，Pacemaker给我们提供多个命令行工具来修改xml的配置。

我一般都使用crm，这个工具支持tab自动补全。下面用^T代表tab补全。

lisen# crm
crm(live)#^T
bye configure help quit status
cd end node ra status-mgmt
cib exit options resource up
crm(live)# status
============
Last updated: Wed Jan 6 12:03:20 2010
Stack: Heartbeat
Current DC: vm2 (2681ec9b-aaec-401d-9789-97bb1710250b) – partition with quorum
Version: 1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe
3 Nodes configured, unknown expected votes
0 Resources configured.
============
Online: [ vm1 vm2 vm3 ]

增加一个资源

集群的资源可以是一个虚拟IP，可以是apache mysql server,还可以是我们自己的程序。

下面 演示使用crm为集群增加一个虚拟ip：

实验环境为：

vm1: 172.16.2.11
vm2: 172.16.2.12
vm3: 172.16.2.13
虚拟ip: 172.16.2.100

过程：

vm1#crm #可以在集群的任何一个节点上进行操作。
crm(live)#configure #进入配置模式
crm(live)configure# property stonith-enabled=false #修改集群的选项，禁用stonith，否则会报错。 先不使用stonith设备。
crm(live)configure# primitive ip-alias ocf:heartbeat:IPaddr2 params ip=172.16.2.100 nic=eth0 op monitor interval=5s
crm(live)configure# commit
crm(live)configure# exit

primitive ip-alias ocf:heartbeat:IPaddr2 params ip=172.16.2.100 op monitor interval=5s

这是加入虚拟IP资源的命令。其中 ip-alias是资源名，是我们自己定义的。

ocf:heartbeat:IPaddr2这里指定了一个Resource Agent.这实际上对应到 /usr/lib/ocf/resource.d/heartbeat/IPaddr2 这个脚本。集群的每台机器上都有这个脚本，它实现了启动，关闭，监视等功能。实际的命令执行实际上都是由这些Resource Agent发出的。 ocf:heartbeat 对应/usr/lib/ocf/resource.d/heartbeat/,ocf:pacemaker 对应/usr/lib/ocf/resource.d/pacemaker 这些目录下有许多控制各种服务的脚本。

params name=value 这是传入脚本的环境变量。

op monitor interval=5s 对资源加入监视操作，5s一次。

实际测试：

ip-alias资源已经在vm1上启动

#crm_mon
============
Last updated: Thu Jan 7 10:51:30 2010
Stack: Heartbeat
Current DC: vm3 (952cbf63-ec62-4371-942a-626022c113ba) – partition with quorum
Version: 1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe
3 Nodes configured, unknown expected votes
1 Resources configured.
============

Online: [ vm1 vm2 vm3 ]

ip-failover (ocf::heartbeat:IPaddr2): Started vm1

—-

在vm1上查看ip:

vm1#ip add show
eth0: mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
link/ether 08:00:27:dd:8b:ca brd ff:ff:ff:ff:ff:ff
inet 172.16.2.11/24 brd 172.16.2.255 scope global eth0
inet 172.16.2.100/24 brd 172.16.2.255 scope global secondary eth0

ifdown掉vm1的网卡，在vm3上面观察：

#crm_mon
============
Last updated: Thu Jan 7 10:51:30 2010
Stack: Heartbeat
Current DC: vm3 (952cbf63-ec62-4371-942a-626022c113ba) – partition with quorum
Version: 1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe
3 Nodes configured, unknown expected votes
1 Resources configured.
============

Online: [vm2 vm3 ]
OFFLINE：[vm1]

ip-failover (ocf::heartbeat:IPaddr2): Started vm2

虚拟ip已经被自动转移到了vm2节点上。

资源constrains

首先要介绍的是全局option:symmetric-cluster=ture/false. true时，集群allowing resources to run anywhere by default; false时,集群preventing resources from running anywhere by default，我们需要手动enable nodes.

接着要引入score，官方的解释： Scores are calculated on a per-resource basis and any node with a negative score for a resource can’t run that resource. After calculating the scores for a resource, the cluster then chooses the node with the highest one.
location constrain

以ip-alias资源为例,现在只允许ip-alias在vm1 vm2上运行，并且优先在vm1上，只是当vm1出错时，才转到vm2上运行。
#crm
crm(live)# configure
crm(live)configure# property symmetric-cluster=false #preventing resources from running anywhere
crm(live)configure# location constrain1 ip-alias 200: vm1 #set score to enable node vm1
crm(live)configure# location constrain2 ip-alias 100: vm2 #set score to enable node vm2

我们将vm1的score设为200,vm2的score设为100。因为vm1的score高，所以ip-alias将优先在vm1上运行，当vm1挂掉后才会自动转到vm2.

order constrain

如果有多个资源，可以使用order constrain,实现对多个资源启动顺序的控制。

现在有两个资源 虚拟ip:ip-failover和apache server:web.现在加入order constrain，让ip-failover先于apache运行。
#crm
crm(live)# configure
crm(live)configure# order order1 40: ip-failover web
crm(live)configure# verify
crm(live)configure# commit

order order1 40: ip-failover web
oder1是自定义的id
40: 是这个order constrain的score。当score>0 称为强制约束，score=0 称为建议约束。
强制约束中，当first资源状态发生变化时，会影响then资源;而建议约束则不会。
具体请看http://www.clusterlabs.org/doc/en-US/Pacemaker/1.0/html/Pacemaker_Explained/s-resource-ordering.html

ip-failover web就是资源名。ip-failover将先于web启动。

colocation constrain

当一个资源的位置依赖于另一个资源时，我们称之为colocation.

依旧拿ip-failover和web为例。现在让web依赖于ip-failover
# crm
crm(live)# configure
crm(live)configure# colocation co1 score: web ip-failover
crm(live)configure#commit

colocation co1 score: web ip-failover

co1 是我们自定义的id
score 当score为”INFINITY”或”-INFINITY”时，称为Mandatory Placement，意思是必须满足;当-INFINITY<score<INFINITY时，称为Advisory Placemen，
意思是尽量满足。score为正时，资源会运行在同一节点。score为负，资源会运行在不同的节点。
web ip-failover: web资源将依赖于ip-failover资源。

score=INFINITY ip-failover和web将运行于同一节点。web依赖于ip-failover，当ip-failover由于上面的constrain不能运行时，web可以运行时。
由于是Mandatory Placement,web也不能运行。
score=100 当ip-failover由于上面的constrain不能运行时，web可以运行时。web依然会运行。
score=-INFINITY 同上
score=-100 同上

资源组

集群中很常见的一种情况是一系列的资源需要运行在同一各节点上，启动和停止都是有一定顺序的。 这时候使用资源组就非常方便。

配置一个资源组也非常的简单。
#crm
crm(live)# configure
crm(live)configure# group group1 ip-failover web
crm(live)configure# commit

group1 是我们自定义的组名id
ip-failover web 则是要放到group1组中的资源，这里是有序的，ip-failover将先于web执行。

并且同一个资源组的各种资源只能运行在同一个节点上。

rule

rule可以使你的配置更加动态。可以制定出灵活的规则。

rule中加入了表达式判断，当表达式为false,集群会忽视这条rule.若为true,集群中节点的score会被更新成rule中的score.

首先从一个最简单的rule开始，只为了演示rule的语法: 若集群中的#uname(也就是主机名）为vm1,则禁止ip-alias在vm1上运行。

crm(live)# configure
crm(live)configure# location rule1 ip-alias rule -inf: #uname eq "vm1"
crm(live)configure# commit

rule -inf: #uname eq "vm1"
前面的部分和location限制语法一样。从rule 开始-inf: 是当表达式为真时要应用的score.
#uname eq "vm1" #uname是每个节点自带的一个attribute，即是节点名;eq是操作符.
vm1节点符合表达式，所以，vm1对ip-alias的score将被置为-inf,vm1将永远不能运行ip-alias.

另一个与时间表达式有关的例子：周2的8点将进行维护，关闭集群里的资源ip-alias。
crm(live)# configure
crm(live)configure# location rule2 ip-alias rule -inf: date date_spec weekdays="2" hours="8"
crm(live)configure# commit

这样会实现一个类似crontab的效果，在每周2的8点自动关闭集群中的ip-alias服务（通过将所有节点的score设为-inf)

资源的迁移

现在集群中有一个节点vm1因为某种原因要停机，要把vm1所有的资源先迁移出去。首先可以使用上面的location constrain，将每个资源在vm1上的score设为-inf.另外还有一种简单的办法，将vm1设为”standby”状态（standby意味着不要让任何服务到这个节点运行）。

standby vm1:
crm(live)# node standby vm1

重新启用vm1:
crm(live)# node online vm1

资源Clone

如果想让一个资源在集群的每个节点都有运行，可以使用clone.首先介绍anonymous clone.这是最简单的clone,所有的节点上的clone都是一样。

以ocf:pacemaker:ping这个agent为例。
crm(live)# configure
crm(live)configure# primitive ping-test ocf:pacemaker:ping params host_list=172.16.2.1 multiplier=100 dampen=5s name=pingd op monitor interval=15s
crm(live)configure# clone cl-pingd ping

这里给每个节点配置了ping的clone,这个agent会每隔一段时间自动去ping host_list中列出的节点。然后将可通的节点数乘以multiplier作为pingd的值，这个值就可以被rule使用。

crm(live)configure# location ping-l ip-alias rule -inf: pingd eq 0

这里使用了pingd的值，如果某节点等于0（即为无法ping通172.16.2.1)，则将此节点score设为-inf:.