Lvs+heartbeat高可用高性能web站点的搭建

这是我们公司在实际的生产环境当中使用的一套东西，希望对大家有所帮助(实际的公网ip，我已经做了相应的修改)：

说明：每台服务器需要有两块网卡:eth0连接内网的交换机，用私网ip，实现服务器间内部访问；eth1连接公网交换机，供外网访问。如果想节约成本可以只用一个交换机，划分2个vlan分别连接内网和外网也可以，但这样有风险，一旦交换机出问题，内网和外网都不能访问，一定要权衡一下得失。

各个服务器ip配置如下：

主ha  eth1:1.1.1.14   eth0:192.168.1.8(心跳)

从ha  eth1:1.1.1.15   eth0:192.168.1.30(心跳)

real1:eth1:1.1.1.16   eth0:192.168.1.9

real1:eth1:1.1.1.16   eth0:192.168.1.10

real1:eth1:1.1.1.16   eth0:192.168.1.11

real1:eth1:1.1.1.16   eth0:192.168.1.12

一． 主ha的配置：

1. hosts文件的内容如下(如果有自己的DNS的话，也可以用DNS做解析)：

127.0.0.1 primary.fantong.com localhost.localdomain localhost

::1  localhost6.localdomain6 localhost6

1.1.1.14  primary.fantong.com

192.168.1.8  primary.fantong.com

1.1.1.15  backup.fantong.com

192.168.1.30  backup.fantong.com

2.修改主机名: 编辑/etc/sysconfig/network

HOSTNAME=primary.fantong.com

3. 用命令修改一下主机名：

#hostname primary.fantong.com

4. 安装软件

yum -y install libnet

yum -y install heartbeat-*

yum -y install heartbeat(如果报错，再安装一次就ok了)

yum  -y install ipvsadm

如果是redhat系统没有yum源的话，可以参考我的一篇博客文章来更改yum的一些设置: http://gehailong.blog.51cto.com/765312/610127

5. 软件安装完成以后会生成目录/etc/ha.d，该目录下存放heartbeat 的配置文件，验证文件，资源文件(脚本,注意：在heartbeat中，脚本都被称为资源)等，这三个文件是必不可少的，本文中这三个文件都是我手工写的。

1）. Heatbeat的主配文件：/etc/ha.d/ha.cf/ha.cf

logfile /var/log/ha-log

debugfile /var/log/ha-debug

logfacility     local0  

keepalive 2 #主从切换的保持时间

deadtime 30 #宣布对方死亡时间

warntime 10 #警告时间

udpport 694 #主从之间的通信端口

ucast eth0 192.168.1.30  #采用单播方式探测心跳，bcast是广播方式；后面的地址是对端地址

auto_failback on #自动恢复，就是说如果主从故障中恢复会抢回主的位置

node    primary.fantong.com #主节点主机名

node    backup.fantong.com #从节点主机名

ping 192.168.1.30

ping_group lbgroup 1.1.1.14 1.1.1.15

ping_group lbgroup 192.168.1.8 192.168.1.30

respawn hacluster /usr/lib64/heartbeat/ipfail  #如果是32位系统，则目录应该为/usr/lib/heartbeat/ipfail

apiauth ipfail gid=haclient uid=hacluster #验证用的用户和组ID(已经自动建好了)

2）. 资源列表 /etc/ha.d/haresources后面跟的是资源名(脚本)，要保证跟backup的内容完全一致。

primary.fantong.com lvs ldirectord

3）. 验证文件 /etc/ha.d/authkeys 主从验证 testlab验证密码 ，要保证跟backup的内容一致，否则主从验证失败。注意：改为该文件权限必须为600

auth1

1 sha1 testlab

6. 在安装heatbeat-*的时候会安装一个叫heartbeat-ldirectord 的文件，他的作用是管理后端的realserver。比如后端某个realserver死掉了，他会自动从列表当中删除该资源，当该资源恢复后再自动添加 进去。配置文件是：/etc/ha.d/ldirectord.cf ，内容如下(是我自己手工写的)：

# Global Directives监控realserver

checktimeout=3 #realserver超时时间

checkinterval=1 #检查的间隔时间

fallback=127.0.0.1:80 #如果所有realserver宕机，由谁来承担

autoreload=yes

logfile="/var/log/ldirectord.log"

emailalert="[email protected]" #出问题发邮件给谁(可以定义邮件组)

emailalertfreq=3600

emailalertstatus=all

quiescent=no #如果realserver出问题，立即从资源列表删除

# Sample for an http virtual service

virtual=1.1.1.13:80  #(注意这个文件的格式，下面的内容必须至少空4格)

real=1.1.1.16:80 gate #gate表示采用的是lvs中DR模式，有关lvs的模式和工作原理大家可以查找相关资料来了解一下。

real=1.1.1.17:80 gate

real=1.1.1.18:80 gate

real=1.1.1.19:80 gate

fallback=127.0.0.1:80 gate

service=http

scheduler=wrr #realserver的调动方法：加权轮训

persistent=5 #客户端连接的持久时间

protocol=tcp

checktype=connect

checkport=80

7. 该脚本的作用是启动资源 /etc/init.d/lvs

#!/bin/bash

# description: start LVS of DirectorServer

#Written by :NetSeek http://www.linuxtone.org GW=192.168.1.254

# website director vip.

GW=1.1.1.13#网关地址千万不要填错了，否则你的辅助(浮动)ip是无法访问的。

WEB_VIP=1.1.1.13

WEB_RIP1=1.1.1.16

WEB_RIP2=1.1.1.17

WEB_RIP3=1.1.1.18

WEB_RIP3=1.1.1.19

. /etc/rc.d/init.d/functions

logger $0 called with $1

case "$1" in

start)

# Clear all iptables rules.

/sbin/iptables �CF #这个地方要注意一下，如果公司最外端有防火墙，就可以清空iptables内容(都做允许，或者停止)，把改行注释掉；如果没有就需要有防火墙了，自己写策略或者写脚本。

# Reset iptables counters.

/sbin/iptables �CZ #同上

# Clear all ipvsadm rules/services.

/sbin/ipvsadm -C

#set lvs vip for dr

/sbin/ipvsadm --set 30 5 60

/sbin/ifconfig eth1:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up

/sbin/route add -host $WEB_VIP dev eth1:0

/sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr -p 3

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP1:80 -g -w 1

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP2:80 -g -w 1

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP3:80 -g -w 1

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP4:80 -g -w 1

touch /var/lock/subsys/ipvsadm >/dev/null 2>&1

# set Arp

/sbin/arping -I eth1 -c 5 -s $WEB_VIP $GW >/dev/null 2>&1

;;

stop)

/sbin/ipvsadm -C

/sbin/ipvsadm -Z

ifconfig eth1:0 down

route del $WEB_VIP >/dev/null 2>&1

rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1

/sbin/arping -I eth1 -c 5 -s $WEB_VIP $GW

echo "ipvsadm stoped"

;;

status)

if [ ! -e /var/lock/subsys/ipvsadm ];then

echo "ipvsadm is stoped"

exit 1

else

ipvsadm -ln

echo "..........ipvsadm is OK."

fi

;;

*)

echo "Usage: $0 {start|stop|status}"

exit 1

esac

exit 0

8.  做一下两步操作：

chmod 755 /etc/init.d/lvs

ln -s  /etc/init.d/lvs  /etc/ha.d/resource.d  #启动ldirectord的时候它会从/etc/init.d 和/etc/ha.d/resource.d 目 录里面搜索资源(脚本)。

9. 让heartbeat开机自启动。

chkconfig   heartbeat  on

二.  backup上面的配置

1.安装软件包，同primary

2. 把primary上所有的脚本拷贝到backup上面，包括hosts文件，/etc/ha.d/*里面的所有的内容。

3.修改/etc/ha.d/ha.cf。其他文件的内容与主的保持一致就可以。

ucast eth0 192.168.1.8  #采用单播方式探测心跳，bcast是广播方式；后面的地址是对端地址（主的ip）

.........

ping 192.168.1.8

4. chkconfig heartbeat  on

三. realserver的配置

1. 编写脚本/root/real.sh，主要作用是屏蔽arp，否则的话会与其他realserver和ha的地址发生冲突，脚本内容如下：

#/bin/sh

VIP=1.1.1.13

source /etc/rc.d/init.d/functions

case "$1" in

start)

echo "start LVS of RealServer"

/sbin/ifconfig lo:0 ${VIP} broadcast ${VIP} netmask 255.255.255.255 up

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

;;

stop)

/sbin/ifconfig lo:0 down

echo "Close LVS of RealServer"

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

;;

*)

echo "wrong,please use start|stop"

exit 1

esac

2. 修改一下脚本权限：chmod 755 real.sh

3. 启动脚本/root/real.sh start

4. 加入启动项：

修改/etc/rc.local在最后写入一行

/root/real.sh  start

四． 测试。

1. 在主从上面分别启动heartbeat。(注意：先主后从)

service heartbeat start

2. 观察主日志文件/var/log/ha-log

看到后面两行表示已经启动完毕，资源加载成功。

3. 观察从日志文件/var/log/ha-log

看到最后一行，表示从启动成功，它并不启动资源。