LVS(DR)+keepalived实现高可用负载均衡

一、lvs+keepalived

1、lvs

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

2、keepalived

Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

从上图可以看出，keepalived包括三个组件：IO复用组件、内存管理组件和控制组件。在核心组件中IPVS wrapper就是负责生成ipvs规则的，所以说keepalived天生就是为ipvs而生的，也就是为LVS提供高可用集群功能的。keepalived实现的功能主要有三个：一个是将IP地址飘移到其他节点上，一个就是在另一个主机上生成ipvs规则，最后一个就是健康状况检查。keepalived通过软件的方式在其内部模拟实现VRRP协议，然后借助于VRRP协议实现IP地址漂移。

二、拓扑

三、LVS(DR)+keepalived实现高可用负载均衡

1、配置DR

（1）配置LVS-DR-MASTER

[root@LVS-DR-MASTER ~]# yum -y install keepalived
[root@LVS-DR-MASTER ~]# vim /etc/keepalived/keepalived.conf
#! Configuration File for keepalived
global_defs {
   notification_email {
     [email protected]    #故障接收联系人
   }
   notification_email_from lvs.dr@localhost    #故障发送人
   smtp_server 127.0.0.1    #本机发送邮件
   smtp_connect_timeout 30
   router_id LVS_DEVEL_shuishui
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0        #实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的
    virtual_router_id 88        #相同的VRID为一个组，它将决定多播的MAC地址
    priority 100    #主（172.16.7.10）的优先级为100，备（172.16.7.100）的为99
    advert_int 1    #VRRP Multicast广播周期秒数，设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {
        auth_type PASS    #有两种认证方式，PASS或AH
        auth_pass 1111        #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
    }
    virtual_ipaddress {
        172.16.7.1    #vip
    }
}
virtual_server 172.16.7.1 80 {
    delay_loop 6       #设置运行情况检查时间，单位是秒
    lb_algo wlc        #设置负载调度算法，wlc为最小加权算法，rr为轮训
    lb_kind DR         #设置LVS负载均衡DR模式
    net_mask 255.255.255.0
    #persistence_timeout 0    #设置成非0后，过一会访问VIP，就会出现访问不到的情况,JJ也注释掉了这个参数
                             #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好>的解决方案。
                             #有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。
                             #需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作，
                             #那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制
    protocol TCP        #使用TCP协议检查realserver状态，指定转发协议类型，有TCP和UDP两种
    sorry_server 127.0.0.1 80
    real_server 172.16.7.200 80 {    #对应后端web1
        weight 3   #节点权重值
        TCP_CHECK {                    #健康检查方式
            connect_port 80    
            connect_timeout 3      #连接超时
            nb_get_retry 3         #重试次数
            delay_before_retry 3   #重试间隔/S
        }
    }
    real_server 172.16.7.201 80 {    #对应后端web2
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

注：这里我想说一下lvs的session问题的处理功能，因为他不像haproxy和nginx可以工作在7层，所以lvs只提供简单的维持session功能的参数，就是persistence_timeout，哇，这个只是说你同一个source只能大概给你个session维持时间，不像haproxy的source算法和nginx的ip_hash功能，所以啊，这方面lvs做的不如nginx和haproxy好。

（2）配置LVS-DR-BACKUP

[root@LVS-DR-MASTER ~]# scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/ # # #复制过去只需修改state为backup和priority为99

（3）测试VIP飘移

   ①、启动keeplived服务后，LVS-DR-MASTER上拥有VIP

   ②、企业MASTER上的keepalived服务，测试VIP飘移

   ③、在LVS-DR-BACKUP上查看是否已拿到VIP

2、配置web

（1）配置web1

   ①、配置realserver

[root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore [root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore [root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce [root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce [root@web1 ~]# [root@web1 ~]# ifconfig lo:0 172.16.7.1 netmask 255.255.255.255 broadcast 172.16.7.1 up [root@web1 ~]# [root@web1 ~]# route add -host 172.16.7.1 dev lo:0

   ②、编辑网页文件

[root@web1 ~]# yum -y install httpd [root@web1 ~]# [root@web1 ~]# vim /var/www/html/index.html <h1>Welcome to web1(172.16.7.200)</h1>

   ③、启动httpd服务测试正常与否

[root@web1 ~]# service httpd start

（2）配置web2

   方法同web1

（3）使用脚本配置 realserver

[root@localhost ~]# vi /etc/init.d/real.sh
#description : start realserver
VIP=172.16.7.1
. /etc/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS RealServer Start OK"
;;
stop)
/sbin/ifconfig lo:0 down
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS RealServer Stoped OK"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac

[root@localhost ~]# chmod +x /etc/init.d/real.sh
[root@localhost ~]# /etc/init.d/real.sh start
LVS RealServer Start OK
[root@localhost ~]# echo "/etc/init.d/real.sh start" >> /etc/rc.local

3、访问VIP测试LVS(DR)+keepalived高可用负载均衡

（1）负载均衡测试

   ①、两台web都工作正常，访问VIP时，可以被负载到两台web上

   ②、停掉一台web的httpd服务，访问VIP是，被负载到正常的web服务器上

（2）高可用测试

   ①、首先两台DR的keepalived服务都正常，此时VIP在LVS-DR-MASTER（172.16.7.10）上

   ②、关闭LVS-DR-MASTER上的keepalived服务，此时VIP在LVS-DR-BACKUP（172.16.7.100）上

[root@LVS-DR-MASTER ~]# service keepalived stop

经测试，访问172.16.7.1依然正常，通过keepalived+lvs避免了DR的单点故障，实现了高可用负载均衡

4、查看ipvs规则

   如果想查看生效的规则，只需安装ipvsadm即可

[root@LVS-DR-MASTER ~]# yum -y install ipvsadm [root@LVS-DR-MASTER ~]# ipvsadm -L -n IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  172.16.7.1:80 wlc   -> 172.16.7.200:80              Route   3      0          0          -> 172.16.7.201:80              Route   1      0          0

查看更多lvs相关内容请点击章文嵩博士原创论文：http://www.linuxvirtualserver.org/zh/lvs1.html