LVS(DR)+keepalived实现高可用负载均衡
一、lvs+keepalived
1、lvs
LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。
2、keepalived
Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
从上图可以看出，keepalived包括三个组件：IO复用组件、内存管理组件和控制组件。在核心组件中IPVS wrapper就是负责生成ipvs规则的，所以说keepalived天生就是为ipvs而生的，也就是为LVS提供高可用集群功能的。keepalived实现的功能主要有三个：一个是将IP地址飘移到其他节点上，一个就是在另一个主机上生成ipvs规则，最后一个就是健康状况检查。keepalived通过软件的方式在其内部模拟实现VRRP协议，然后借助于VRRP协议实现IP地址漂移。
二、拓扑
三、LVS(DR)+keepalived实现高可用负载均衡
1、配置DR
（1）配置LVS-DR-MASTER
[root@LVS-DR-MASTER ~]# yum -y install keepalived
[root@LVS-DR-MASTER ~]# vim /etc/keepalived/keepalived.conf
#! Configuration File for keepalived
global_defs {
notification_email {
[email protected] #故障接收联系人
}
notification_email_from lvs.dr@localhost #故障发送人
smtp_server 127.0.0.1 #本机发送邮件
smtp_connect_timeout 30
router_id LVS_DEVEL_shuishui
}
vrrp_instance VI_1 {
state MASTER
interface eth0 #实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的
virtual_router_id 88 #相同的VRID为一个组，它将决定多播的MAC地址
priority 100 #主（172.16.7.10）的优先级为100，备（172.16.7.100）的为99
advert_int 1 #VRRP Multicast广播周期秒数，设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication {
auth_type PASS #有两种认证方式，PASS或AH
auth_pass 1111 #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress {
172.16.7.1 #vip
}
}
virtual_server 172.16.7.1 80 {
delay_loop 6 #设置运行情况检查时间，单位是秒
lb_algo wlc #设置负载调度算法，wlc为最小加权算法，rr为轮训
lb_kind DR #设置LVS负载均衡DR模式
net_mask 255.255.255.0
#persistence_timeout 0 #设置成非0后，过一会访问VIP，就会出现访问不到的情况,JJ也注释掉了这个参数
#会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好>的解决方案。
#有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。
#需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作，
#那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制
protocol TCP #使用TCP协议检查realserver状态，指定转发协议类型，有TCP和UDP两种
sorry_server 127.0.0.1 80
real_server 172.16.7.200 80 { #对应后端web1
weight 3 #节点权重值
TCP_CHECK { #健康检查方式
connect_port 80
connect_timeout 3 #连接超时
nb_get_retry 3 #重试次数
delay_before_retry 3 #重试间隔/S
}
}
real_server 172.16.7.201 80 { #对应后端web2
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
注：这里我想说一下lvs的session问题的处理功能，因为他不像haproxy和nginx可以工作在7层，所以lvs只提供简单的维持session功能的参数，就是persistence_timeout，哇，这个只是说你同一个source只能大概给你个session维持时间，不像haproxy的source算法和nginx的ip_hash功能，所以啊，这方面lvs做的不如nginx和haproxy好。
（2）配置LVS-DR-BACKUP
[root@LVS-DR-MASTER ~]# scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/ # # #复制过去只需修改state为backup和priority为99 |
（3）测试VIP飘移
①、启动keeplived服务后，LVS-DR-MASTER上拥有VIP
②、企业MASTER上的keepalived服务，测试VIP飘移
③、在LVS-DR-BACKUP上查看是否已拿到VIP
2、配置web
（1）配置web1
①、配置realserver
[root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore [root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore [root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce [root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce [root@web1 ~]# [root@web1 ~]# ifconfig lo:0 172.16.7.1 netmask 255.255.255.255 broadcast 172.16.7.1 up [root@web1 ~]# [root@web1 ~]# route add -host 172.16.7.1 dev lo:0 |
②、编辑网页文件
[root@web1 ~]# yum -y install httpd [root@web1 ~]# [root@web1 ~]# vim /var/www/html/index.html <h1>Welcome to web1(172.16.7.200)</h1> |
③、启动httpd服务测试正常与否
[root@web1 ~]# service httpd start |
（2）配置web2
方法同web1
（3）使用脚本配置 realserver
[root@localhost ~]# vi /etc/init.d/real.sh
#description : start realserver
VIP=172.16.7.1
. /etc/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS RealServer Start OK"
;;
stop)
/sbin/ifconfig lo:0 down
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS RealServer Stoped OK"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
[root@localhost ~]# chmod +x /etc/init.d/real.sh [root@localhost ~]# /etc/init.d/real.sh start LVS RealServer Start OK [root@localhost ~]# echo "/etc/init.d/real.sh start" >> /etc/rc.local
3、访问VIP测试LVS(DR)+keepalived高可用负载均衡
（1）负载均衡测试
①、两台web都工作正常，访问VIP时，可以被负载到两台web上
②、停掉一台web的httpd服务，访问VIP是，被负载到正常的web服务器上
（2）高可用测试
①、首先两台DR的keepalived服务都正常，此时VIP在LVS-DR-MASTER（172.16.7.10）上
②、关闭LVS-DR-MASTER上的keepalived服务，此时VIP在LVS-DR-BACKUP（172.16.7.100）上
[root@LVS-DR-MASTER ~]# service keepalived stop |
经测试，访问172.16.7.1依然正常，通过keepalived+lvs避免了DR的单点故障，实现了高可用负载均衡
4、查看ipvs规则
如果想查看生效的规则，只需安装ipvsadm即可
[root@LVS-DR-MASTER ~]# yum -y install ipvsadm [root@LVS-DR-MASTER ~]# ipvsadm -L -n IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.16.7.1:80 wlc -> 172.16.7.200:80 Route 3 0 0 -> 172.16.7.201:80 Route 1 0 0 |
查看更多lvs相关内容请点击章文嵩博士原创论文：http://www.linuxvirtualserver.org/zh/lvs1.html