heartbeat 概述:


官方网站：http://www.linux-ha.org/

下载 heartbeat：http://www.linux-ha.org/wiki/Download


   下载得到： 目前的这些版本是：

Heartbeat-3-0-7e3a82377fa8.tar.bz2 #  心跳主程序包

  Reusable-Cluster-Components-glue--glue-1.0.9.tar.bz2 #可重复使用的群集组件

端口号：694


[root@silence81 ~]# vim /etc/services

heartbeat实现web高可用_第1张图片

扩展： 谁管理着 TCP/UDP 公共服务的端口定义


IANA 就是指(Internet Assigned Numbers Authority) ，Internet 号分配的机构。负责对 IP 地址分 配规划以及对 TCP/UDP 公共服务的端口定义。

官网：http://www.iana.org/


IANA 的所有任务可以大致分为三个类型：

一、域名。IANA 管理 DNS 域名根和.int，.arpa 域名以及 IDN（国际化域名）资源。

二、数字资源。IANA 协调全球 IP 和 AS（自治系统）号并将它们提供给各区域 Internet 注册机构。 注： AS 自治系统号，是 BGP 路由协议中的号。（管理国家跟国家之间的流量）

三、协议分配。IANA 与各标准化组织一同管理协议编号系统。 



heartbeat实现web高可用_第2张图片

silence80   主 web

silence84   从 web

silence81   NFS



浮动资源：

1. 公网 IP 地址

2. HTTP 服务

3. 存储：NFS 挂载




准备工作：silence80，silence84

1. 修改主机名，永久生效

# vim /etc/sysconfig/network

HOSTNAME=silence80

2. 解析

# vim /etc/hosts

192.168.1.80silence80

192.168.1.84silence84



3. 关防火墙,关掉 selinux

# iptables -F

# getenforce

Permissive




配置 silence81 为 NFS 服务器，提供存储资源 安装 NFS 服务器：


[root@silence81 ~]# rpm -qf /etc/init.d/nfs nfs-utils-1.2.3-15.el6.x86_64



[root@silence81 ~]# mkdir /wwwdir

[root@silence81 ~]# echo "heartbeathttpha"   > /wwwdir/index.html

[root@silence81 ~]#cat /etc/exports

/wwwdir192.168.1.0/24(rw)

配置好目录权限：

[root@silence81 ~]# ll -d /wwwdir/

drwxr-xr-x 2 root root 4096 May 29 18:52 /wwwdir/ [root@silence81 ~]# chmod 777 -R /wwwdir/ [root@silence81 ~]# ll -d /wwwdir/

drwxrwxrwx 2 root root 4096 May 29 18:52 /wwwdir/



开启 nfs 服务

[root@silence81 ~]# service nfs restart


[root@silence81 ~]# chkconfig   nfs on



silence80 测试 nfs 存储挂载并安装 httpd web 服务器：


[root@silence80 ~]# yum install httpd -y

[root@silence80 ~]# showmount -e 192.168.1.81

Export list for 192.168.1.81:

/wwwdir 192.168.1.0/24

[root@silence80 ~]# mount -t nfs 192.168.1.81:/wwwdir /var/www/html/ [root@silence80 ~]# service httpd restart



测试：

[root@silence80 ~]# yum install elinks -y

[root@silence80 ~]# elinks --dump 192.168.1.80

heartdeat http ha


卸载资源：后期这些资源通过 heartbeat 直接加载

[root@silence80 ~]# umount /var/www/html/ 

[root@silence80 ~]# service httpd stop 

[root@silence80 ~]# chkconfig   httpd off




silence84 测试 nfs 存储挂载并安装 httpd web 服务器：


[root@silence84 ~]# cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=silence84

[root@silence80 ~]# scp /etc/hosts 192.168.1.84:/etc/

[email protected]'s password:

hosts100%   2130.2KB/s00:00



[root@silence84 ~]# yum install httpd -y

[root@silence84 ~]# showmount -e 192.168.1.81

Export list for 192.168.1.81:

/wwwdir 192.168.1.0/24


[root@silence84 ~]# mount -t nfs 192.168.1.81:/wwwdir /var/www/html/

[root@silence84 ~]# service httpd restart

测试：

[root@silence84 ~]# yum install elinks -y

[root@silence84 ~]# elinks --dump 192.168.1.84 heartdeat http ha

heartdeat http ha


卸载资源：后期这些资源通过 heartbeat 直接加载

[root@silence84 ~]# umount /var/www/html/ 

[root@silence84 ~]# service httpd stop 

[root@silence84 ~]# chkconfig httpd off



silence80 安装 heartbeat

配置好 yum 源：

[root@silence80 ~]# cat /etc/yum.repos.d/rhel-source.repo

[rhel-source]

name=Red Hat Enterprise Linux $releasever - $basearch - Source baseurl=file:///mnt/

enabled=1 gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release



[rhel-ha] name=Red ha baseurl=file:///mnt/HighAvailability enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

[root@silence80 ~]#

#说明，如果不配置这个 baseurl=file:///mnt/HighAvailabilit  ，则无法使用 yum 安装 cluster-glue和 resource-agents

centos 6.2 或6.5 的源里 cluster-glue、resource-agents、pacemaker 都有，就是没有 heartbeat。 幸好 heartbeat 的 source 里提供了.spec 可以用 rpmbuild 来生成 rpm 包。



接下来，安装 heartbeat


上传 Heartbeat-3-0-7e3a82377fa8.tar.bz2 到 silence80 上

[root@silence80 ~]# tar -jxvf Heartbeat-3-0-958e11be8686.tar.bz2 

[root@silence80 ~]# cd Heartbeat-3-0-958e11be8686

[root@silence80 Heartbeat-3-0-958e11be8686]# rpmbuild -ba heartbeat-fedora.spec    # 虽然报了错，但是帮你生成了目录：/root/rpmbuild/SOURCES/ 。如你系统本身就有此目录，可以直 接拷贝这个压缩包到这个目录

error: File /root/rpmbuild/SOURCES/heartbeat.tar.bz2: No such file or directory



生成/root/rpmbuild/SOURCES/heartbeat.tar.bz2 文件：

[root@silence80Heartbeat-3-0-958e11be8686]#tar-jxvf /root/Heartbeat-3-0-958e11be8686.tar.bz2 -C /root/rpmbuild/SOURCES/ 

[root@silence80 Heartbeat-3-0-958e11be8686]# cd /root/rpmbuild/SOURCES/ 

[root@silence80 SOURCES]# mv Heartbeat-3-0-958e11be8686 heartbeat  #一定要改为heartbeat，否则编译包的时候回报错

[root@silence80SOURCES]#tar-jcvfheartbeat.tar.bz2heartbeat#生成heartbeat.tar.bz2 软件包，如果直接使用源码包，生成 rpm 包时，会报错。 

如：

[root@silence80 SOURCES]# cd /root/rpmbuild/SOURCES/heartbeat/ [root@silence80 heartbeat]# rpmbuild -ba heartbeat-fedora.spec

error: File /root/rpmbuild/SOURCES/heartbeat.tar.bz2: No such file or directory


# 解决依赖


[root@silence80 SOURCES]# yum install ncurses-devel openssl-devel gettext bison flex mailx    cluster-glue-libs-devel    docbook-dtds    docbook-style-xsl         libtool-ltdl-devel libuuid-devel   -y



# 开始生成 RPM 包

参数：rpmbuild 参数   （-bb 只编译二进制 rpm 包 -bs 只编译源码 srpm 包 -ba 同时编译二进制和 源码 srpm 包）

[root@silence80 SOURCES]# pwd

/root/rpmbuild/SOURCES

[root@silence80 SOURCES]# cd heartbeat

[root@silence80 heartbeat]# rpmbuild -ba heartbeat-fedora.spec



在 silence80 和 silence84 上都安装：heartbeat


在 silence80 上安装：heartbeat


[root@silence80 ~]# cd /root/rpmbuild/RPMS/x86_64/

[root@silence80 x86_64]# yum install -y cluster-glue resource-agents 

[root@silence80 x86_64]#   rpm -ivh heartbeat-libs-3.0.6-1.el6.x86_64.rpm 

[root@silence80 x86_64]# rpm -ivh heartbeat-3.0.6-1.el6.x86_64.rpm




silence84 上都安装：heartbeat


把软件包和 yum 配置文件拷贝到 silence84 上：


[root@silence80 ~]#cd /root/rpmbuild/RPMS/x86_64/ 

[root@silence80 ~]# scp -r ./*   192.168.1.84:/root/

[root@silence80~]#scp/etc/yum.repos.d/rhel-source.repo

192.168.1.84:/etc/yum.repos.d/


silence84 配置：heartbeat

[root@silence84 ~]#  yum  install ncurses-devel openssl-devel gettext  bison flex  mailx cluster-glue-libs-devel docbook-dtds docbook-style-xsl -y

[root@silence84 ~]#   rpm -ivh heartbeat-libs-3.0.5-1.el6.x86_64.rpm 

[root@silence84 ~]# yum install -y cluster-glue resource-agents 

[root@silence84 ~]# rpm -ivh heartbeat-3.0.6-1.el6.x86_64.rpm




查看生成的用户和组：


[root@silence80 ha.d]# grep haclient /etc/group haclient:x:489:

[root@silence80 ha.d]# id hacluster

uid=495(hacluster) gid=489(haclient) groups=489(haclient)




配置 heartbeat ：silence80


生成 heartbeat 配置文件


在 silence80 上配置好 3 个配置文件，然后拷给 silence84 即可。 生成配置文件：

[root@silence80 x86_64]# cp /usr/share/doc/heartbeat-3.0.6/ha.cf /etc/ha.d/   #主配置文件 

[root@silence80 ~]# cp /usr/share/doc/heartbeat-3.0.6/authkeys /etc/ha.d/     #主备节点 间通信时所使用的验证文件，保证安全性

[root@silence80 ~]# cp /usr/share/doc/heartbeat-3.0.6/haresources /etc/ha.d/  #定义浮动资源的配置文件




1、设置主备节点间通信时所使用的验证文件，保证安全性。主备节点配置要求一致。

[root@silence80 ~]# vim   /etc/ha.d/authkeys

改：

#auth 3

#1 crc

#2 sha1 HI!

#3 md5 Hello!

为：

auth 3

#1 crc

#2 sha1 HI!

3 md5 mkkey

查看：

[root@silence80 ~]# grep ^[^#] /etc/ha.d/authkeys 

auth 3

3 md5 Hello!

[root@silence80 ~]# chmod 600 /etc/ha.d/authkeys   #此文件权限必须是 600，否则启动不成功



注:

/etc/ha.d/authkeys 文件决定了认证密钥。共有三种认证方式：crc，md5，和 sha1。 互动：“我应该用哪个方法呢？”

如果 Heartbeat 运行于安全网络之上，如本例中的交叉线，可以使用 crc，从资源的角度来看，这是代 价最低的方法。如果网络并不安全，但也希望降低 CPU 使用，则使用 md5。最后，如果想得到最好的认 证，而不考虑 CPU 使用情况，则使用 sha1，它在三者之中最难破解。



2.定义浮动资源，注意添加的顺序，::表示分隔符


[root@silence80 ~]#vim /etc/ha.d/haresources

改：

44 #node-name resource1 resource2 ... resourceN

为：

silence80 IPaddr::192.168.1.88/24/eth0 Filesystem::192.168.1.81:/wwwdir::/var/www/html::nfs httpd


注：

node-name 填的是主服务器的主机名。 silence84 上不需要修改。这样资源默认会加一这个主机 上。当 silence80 坏了，silence84 会再接管。

IPaddr::192.168.1.88/24/eth0  #指定 VIP 及绑定到哪个网卡上

Filesystem::192.168.1.81:/wwwdir::/var/www/html::nfs    #指定要挂载的存储

httpd    #指定要启动的服务。 注，这个服务必须是/etc/init.d 下，可以通过 service 去启动或关闭




测试： 手动加载 VIP 192.168.1.88 到 eth0:0 上


[root@silence80 ~]# ll /etc/ha.d/resource.d/IPaddr


-rwxr-xr-x 1 root root 2273 Jul 29 20:49 /etc/ha.d/resource.d/IPaddr


[root@silence80 ~]# /etc/ha.d/resource.d/IPaddr 192.168.1.88/24/eth0:0 start


IPaddr[7142]: INFO: Using calculated netmask for 192.168.1.88: 255.255.255.0

IPaddr[7142]: DEBUG: Using calculated broadcast for 192.168.1.88: 192.168.1.255

IPaddr[7142]: INFO: eval ifconfig eth0:0 192.168.1.88 netmask 255.255.255.0 broadcast

192.168.1.255

IPaddr[7142]: DEBUG: Sending Gratuitous Arp for 192.168.1.88 on eth0:0 [eth0] ARPING 192.168.1.88 from 192.168.1.88 eth0

IPaddr[7116]: INFO:   Success

INFO:   Success


查看 VIP：

[root@silence80 x86_64]# ifconfig#可以看到 eth0:0   的 IP 为：192.168.1.88


测试： 手动加载 NFS 存储资源到/var/www/html

[root@silence80~]#/etc/ha.d/resource.d/Filesystem192.168.1.81:/wwwdir

/var/www/html/ nfs start

Filesystem[23575]: INFO: Running start for 192.168.1.81:/wwwdir on /var/www/html

Filesystem[23567]: INFO:   Success

INFO:   Success

[root@silence80 ~]# ls /var/www/html/index.html

/var/www/html/index.html

[root@silence80 ~]# mount

.....

192.168.1.81:/wwwdiron/var/www/htmltypenfs

(rw,vers=4,addr=192.168.1.81,clientaddr=192.168.1.80)


测试： 手动启动 httpd 服务

[root@silence80 ~]#   /etc/init.d/httpd restart



3.定义/etc/ha.d/ha.cf

[root@silence80 ~]# grep ^[^#] /etc/ha.d/ha.cf   #默认只开启了以下两行内容

logfacilitylocal0 auto_failback on

#auto_failback on     #为 on 时，主结点恢复正常后，资源自动转给主结点。 建议设为 auto_failback off ，等主节点恢复正常后，在业务不繁忙时，切换回来。防止主节点恢复正常时，回切时，再次影起网 络中断。



[root@silence80 ha.d]# vim   /etc/ha.d/ha.cf#将配置文件中，以下内存前面的#号去掉

24 debugfile /var/log/ha-debug

29 logfile /var/log/ha-log

48 keepalive 2   #设定 heartbeat 之间的时间间隔为 2 秒。

56 deadtime 30   #在 30 秒后宣布节点死亡。

61 warntime 10   #在日志中发出“late heartbeat“警告之前等待的时间，单位为秒。

71 initdead 120#在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项 用于解决这种情况产生的时间间隔。取值至少为 deadtime 的两倍。



76 udpport 694   #使用端口 694 进行 bcast 和 ucast 通信。这是默认的，并且在 IANA 官方注册的端 口号。

121 ucast eth0 192.168.1.84   #表示从本机的 eth0 接口发心跳消息给对方节点，写另一端的 IP 地址 。 这是单播地址。 silence84 上改为 192.168.1.80   。心跳网卡 ，如果你有两个网卡，可以写成 eth1 注：配置文件中 91 #bcast   eth0#表示在 eth0 接口上使用广播 heartbeat（将 eth1 替换为 eth0， eth2，或者您使用的任何接口）。



157 auto_failback on#当 auto_failback 设置为 on 时，一旦主节点重新恢复联机，将从从节点取回 所有资源。若该选项设置为 off，主节点便不能重新获得资源。

211   nodesilence80   #该选项是必须配置的。集群中机器的主机名，不“uname –n”的输 出相同。

212   nodesilence84

这两行内容大约在此位置：

heartbeat实现web高可用_第3张图片


改：223 #ping 10.10.10.254

为：223   ping 192.168.1.1#通过 ping 命令来实现仲裁 改：256 #respawn hacluster /usr/lib/heartbeat/ipfail 

为：256 respawn hacluster   /usr/libexec/heartbeat/ipfail 改：262 #apiauth ipfail gid=haclient uid=hacluster

为： apiauth ipfail gid=haclient uid=hacluster


到此修改结束，保存，退出。


[root@silence80 x86_64]# rpm -qf /usr/libexec/heartbeat/ipfail#查看这个包是哪个软件包 安装生成的

heartbeat-3.0.6-1.el6.x86_64



复制配置文件到 silence84 上：

[root@node1 ha.d]# cd /etc/ha.d/

[root@silence80 ha.d]# scp ha.cf haresources authkeys 192.168.1.84:/etc/ha.d/

[email protected]'s password:


ha.cf100%10KB10.3KB/s00:00

haresources100% 60075.9KB/s00:00

authkeys100%   6420.6KB/s00:00




silence84 上配置 heartbeat


[root@silence84 ~]# chmod 600 /etc/ha.d/authkeys   #此文件必须是 600 否则 heartbeat 启动 不成功


#修改单播地址


[root@silence84 ~]# vim /etc/ha.d/ha.cf


改：

ucast eth0 192.168.1.84

为：

ucast eth0 192.168.1.80


两机器启动 heartbeat 服务：

[root@silence80 ~]# /etc/init.d/heartbeat restart

[root@silence84 ~]# /etc/init.d/heartbeat restart

Stopping High-Availability services:[   OK   ] 

Waiting to allow resource takeover to complete:[   OK   ]

#等待资源接管完成。 takeover 接管。   当启动停留在这个界面时，silence84 会接管所有浮动资源。 等下面启动成功时，silence84 会释放资源，浮云资源，再次加载。

Starting High-Availability services: IPaddr[27857]: INFO:   Resource is stopped  [   OK   ]



查看端口号：

[root@silence80 ~]# netstat -antup | grep 694

udp00 0.0.0.0:6940.0.0.0:*6895/heartbeat: wr



查看端口号：

[root@silence84 ~]# netstat -antup | grep 694

udp00 0.0.0.0:6940.0.0.0:*6895/heartbeat: wr




在 silence80 查看集群资源：

[root@silence80 ~]# ifconfig

.....

eth0:0Link encap:Ethernet   HWaddr 00:0C:29:12:EC:1E

inet addr:192.168.1.88   Bcast:192.168.1.255  Mask:255.255.255.0 


[root@silence80 ~]# df -h

.....

/dev/sr03.4G   3.4G0 100% /mnt

192.168.1.81:/wwwdir  9.7G   3.4G   5.8G   37% /var/www/html

[root@silence80 ~]# /etc/init.d/httpd status httpd (pid   23641) is running...

silence84 上查看，没有任务浮动资源： 

[root@silence84 ~]# ifconfig 

[root@silence84 ~]# df -h

[root@silence80 ~]# /etc/init.d/httpd status httpd is stopped



测试：


两台主机都开启时，所有请求到转到了 silence80 上。访问：http://192.168.1.88/ 正常

heartbeat实现web高可用_第4张图片

当掉 silence80，关闭网卡，等 30 秒钟，所有请求都转到 silence84 上了


[root@silence80 ha.d]# ifdown eth0


[root@silence84 ~]# ifconfig

...

eth0:0Link encap:Ethernet   HWaddr 00:0C:29:48:80:95

inet addr:192.168.1.88   Bcast:192.168.1.255  Mask:255.255.255.0 [root@silence84 ~]# df -h

...

192.168.1.81:/wwwdir  9.7G   3.4G   5.8G   37% /var/www/html

[root@silence84 ~]# service httpd status 

httpd (pid   6375) is running...



silence80 上把 eth0 网卡再次开启：

[root@silence80 ~]# ifup eth0 

等 30 秒后，查看： 

[root@silence80 ~]# df -h

...

192.168.1.81:/wwwdir  9.7G   3.4G   5.8G   37% /var/www/html#已经加载了 httpd 资源

[root@silence80 ~]# service httpd status 

httpd (pid   27097) is running... 

[root@silence80 ~]# ifconfig

。。。

eth0:0Link encap:Ethernet   HWaddr 00:0C:29:12:EC:1E

inet addr:192.168.1.88   Bcast:192.168.1.255  Mask:255.255.255.0


资源已经回切过来。


在 silence84 上查看释放资料：

[root@silence84 ~]# ifconfig#查看不到 eth0：0   192.168.1.88 这个 IP 地址

[root@silence84 ~]# df -h

FilesystemSize   Used Avail Use% Mounted on

/dev/sda29.7G   3.7G   5.5G   41% /

tmpfs569M0   569M0% /dev/shm

/dev/sda1194M28M   157M   15% /boot

/dev/sr03.4G   3.4G0 100% /mnt

[root@silence84 ~]# service httpd status 

httpd is stopped




扩展：

heartbeat 自带的断网切换的工具-ipfail ipfail 断网切换的原理


关于 ipfail 这个断网切换的原理很简单,首先 heartbeat 要判断自己的网络是否正常其实就是通过 ping某个 ip，如果可以 ping 的通,说明网络是通的,如果 ping 不通了,说明是网络断了,或者是主服务器的网卡坏了,然后执行切换的动作。


ping 一个 group 的 ipfail 配置:

ping-groupipfail :

ping_group groupll72.16.103.254 172.16.103.212


end！