整合heartbeat+lvs

 集群技术主要分为三大类:

高可用性(High Available Cluster),例:Linux-HA

负载均衡(Load balancing Cluster),例:LVS、MOSIX

高性能计算(High Performance Computing),例:Beowulf

我们这里使用 RHEL6.0,LVS,Linux-HA,Ldirectord,构造一个高可用的负载均衡集群系统。

 

Load Balancer(负载均衡器)

Load Balancer 是整个集群系统的前端,负责把客户请求转发到 Real Server 上。

Backup 是备份 Load Balancer,当 Load Balancer 不可用时接替它,成为实际的 Load Balancer。

Load Balancer 通过 Ldirectord 监测各 Real Server 的健康状况。在 Real Server 不可用时把它从群中剔除,恢复时重新加入。

Virtual IP:192.168.0.147

Load Balancer: eth0:192.168.0.46 eth1:10.131.133.46(供心跳使用) 需要有解析

Load Balancer: eth0:192.168.0.94 eth1:10.131.133.94(供心跳使用) 需要有解析

Real Server 1:192.168.0.64

Real Server 2:192.168.0.94

 

IPVS

IPVS 是 LVS 集群系统的核心软件,它的主要作用是:安装在 Load Balancer 上,把发往 Virtual IP 的请求转发到 Real Server 上。

IPVS 的负载均衡机制有三种,这里使用 IP Tunneling 机制:

• Virtual Server via NAT

• Virtual Server via IP Tunneling

• Virtual Server via Direct Routing

IPVS 的负载调度算法有十种:•

轮叫(Round Robin)

加权轮叫(Weighted Round Robin)

最少链接(Least Connections)

加权最少链接(Weighted Least Connections)

基于局部性的最少链接(Locality-Based Least Connections)

带复制的基于局部性最少链接(Locality-Based Least Connections with

Replication)

目标地址散列(Destination Hashing )

源地址散列(Source Hashing)

最短期望延迟(Shortest Expected Delay)

无须队列等待(Never Queue)

这里负载调度算法的意思请具体参考:http://www.linuxvirtualserver.org/zh/lvs4.html

注意事项:

1. Kernel,IPVS,IPVSadm,ARP hidden 之间的版本必须对应。

2. 自己编译内核时,从 http://www.kernel.org/下载标准内核源文件,不要使用发行版

的内核源文件。

3. Kernel 2.4.28 和 2.6.10 及以上版本已内置 IPVS,RHEL5.2 在其内核里编译了

IPVS。

4. ARP hidden 可以用 arp_ignore/arp_announce 或者 arptables 代替

 

HeartBeat

HeartBeat 是 Linux-HA 的高可用性集群软件,它的主要作用是:

安装在 Load Balancer 和 Backup 上,运行于 active/standby 模式。

当 Load Balancer 失效时,Backup 自动激活,成为实际的 Load Balancer。

切换到 active 模式时,按顺序启动 Virtual IP、IPVS 和 Ldirectord。

切换到 standby 模式时,按顺序关闭 Ldirectord、IPVS 和 Virtual IP。

 

ldirectord

安装 HeartBeat 过程中,已经自动安装了 Ldirectord,它的作用是:

监测 Real Server,当 Real Server 失效时,把它从 Load Balancer 列表中删除,恢复时重新添加。

 

 

安装的软件包:

heartbeat-libs-3.0.4-1.el6.x86_64.rpm

 ldirectord-3.9.2-1.2.x86_64.rpm

heartbeat-3.0.4-1.el6.x86_64.rpm  

heartbeat-devel-3.0.4-1.el6.x86_64.rpm  

(上面四个使用yum localinstall *.rpm --nogpgcheck -y 安装)

ipvsadm-1.25-9.el6.x86_64 （仅Load Balancer和backup需要安装）

perl-IO-Socket-INET6（ldirectord）

openssh-clients.x86_64 (提供scp命令)

 

主配置文件(/etc/ha.d/ha.cf):

debugfile /var/log/ha-debug

调试日志文件文件,取默认值

logfile /var/log/ha-log

系统运行日志文件,取默认值

logfacility local0

日志等级,取默认值

keepalive 2

心跳频率,自己设定。1:表示 1 秒;200ms:表示 200 毫秒

deadtime 30

节点死亡时间阀值,就是从节点在过了 30 后还没有收到心跳就认为主节点死亡,自己设定

warntime 10

发出警告时间,自己设定

initdead 120

守护进程首次启动后应该等待 120 秒后再启动主服务器上的资源

udpport 694

心跳信息传递的 udp 端口,使用端口 694 进行 bcast 和 ucast 通信,取默认值

#baud 19200

串口波特率,与 serial 一起使用。

#serial /dev/ttyS0

采用串口来传递心跳信息。

bcast eth1

采用 udp 广播播来通知心跳

#ucast eth1 10.0.0.3

采用网卡 eth1 的 udp 单播来通知心跳,eth1 的 IP

#mcast eth0 225.0.0.1 694 1 0

采用 udp 多播播来通知心跳

auto_failback on

当主节点恢复后,是否自动切回

#stonith baytech /etc/ha.d/conf/stonith.baytech

stonith 用来保证共享存储环境中的数据完整性

watchdog /dev/watchdog

watchdog 能让系统在出现故障 1 分钟后重启该机器,这个功能可以帮助服务器在确实停止心

跳后能够重新恢复心跳。 如果使用该特性,修改系统中/etc/modprobe.conf, 添加如下行

options softdog nowayout=0

这样在系统启动的时候,在内核中装入"softdog"内核模块,用来生成实际的设备文件

/dev/watchdog

node station3.example.com

主节点名称,与 uname –n 保持一致。排在第一的默认为主节点,所以不要搞措顺序

node station4.example.com

副节点名称,与 uname –n 保持一致

ping 192.168.0.254

respawn hacluster /usr/lib/heartbeat/ipfail

apiauth ipfail gid=haclient uid=hacluster

默认 heartbeat 并不检测除本身之外的其他任何服务,也不检测网络状况。

所以当网络中断时,并不会进行 Load Balancer 和 Backup 之间的切换。

可以通过 ipfail 插件,设置'ping nodes'来解决这一问题,但不能使用一个集群节点作为

ping 的节点。

 

资源文件(/etc/ha.d/haresources):

station3.example.com IPaddr::192.168.0.200/24/eth0 ldirectord httpd

这个文件中定义了实现集群所需的各个软件的启动脚本,这些脚本必须放在/etc/init.d 或者/etc/ha.d/resource.d 目录里 IPaddr 的作用是启动 Virutal IP,它是 HeartBeart 自带的一个

脚本;ldirectord 的作用是启动 ldirectord 监控程序,它会使 ldirectord.cf 中定义的 lvs 生效,

并监听其健康状;httpd 是 apache 服务的启动脚本。

认证文件(/etc/ha.d/authkeys),文件的权限必须是 600:

auth 3

#1 crc

#2 sha1 HI!

3 md5 Hello!

 

配置(/etc/ha.d/ldirectord.cf):

checktimeout=3

checkinterval=1

autoreload=yes

logfile="/var/log/ldirectord.log"

quiescent=no

virtual=192.168.0.147:80

real=192.168.0.64:80 gate

real=192.168.0.57:80 gate

fallback=127.0.0.1:80 gate  #指当所有的realserver都故障后，为保证访问，启动Load Balancer 上的服务

service=http

scheduler=rr

protocol=tcp

checktype=negotiate

checkport=80

 #request="index.html"

 #receive="Test Page"

 #virtualhost=www.x.y.z 注释掉这三行

 

以上是 desktop46.example.com 主心跳上的配置,

scp haresources  ha.cf  ldirectord.cf  authkeys  desktop94.example.com:/etc/ha.d/

 

分别在主备心跳上启动 heartbeat 服务:

service heartbeat start

分别查看日志,是否有报错,服务正常的话 Real Server 1多了个 eth0:0 接口,若没有出现,

请等待一会,再使用 ifconfig 查看,若还是没有 eth0:0 接口出现,检查配置文件是否正确!

若停止 Real Server 1 上的 heartbeat 服务,则 Real Server 2 会接管,并产生一个 eth0:0 接口!