一、lvs+keepalived

1、lvs

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。为此,在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

2、keepalived

Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。

LVS(DR)+keepalived实现高可用负载均衡_第1张图片

从上图可以看出,keepalived包括三个组件:IO复用组件、内存管理组件和控制组件。在核心组件中IPVS wrapper就是负责生成ipvs规则的,所以说keepalived天生就是为ipvs而生的,也就是为LVS提供高可用集群功能的。keepalived实现的功能主要有三个:一个是将IP地址飘移到其他节点上,一个就是在另一个主机上生成ipvs规则,最后一个就是健康状况检查。keepalived通过软件的方式在其内部模拟实现VRRP协议,然后借助于VRRP协议实现IP地址漂移。

二、拓扑

LVS(DR)+keepalived实现高可用负载均衡_第2张图片

三、LVS(DR)+keepalived实现高可用负载均衡

1、配置DR

(1)配置LVS-DR-MASTER

[root@LVS-DR-MASTER ~]# yum -y install keepalived
[root@LVS-DR-MASTER ~]# vim /etc/keepalived/keepalived.conf
#! Configuration File for keepalived
global_defs {
   notification_email {
     [email protected]    #故障接收联系人
   }
   notification_email_from lvs.dr@localhost    #故障发送人
   smtp_server 127.0.0.1    #本机发送邮件
   smtp_connect_timeout 30
   router_id LVS_DEVEL_shuishui
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0        #实例绑定的网卡,因为在配置虚拟IP的时候必须是在已有的网卡上添加的
    virtual_router_id 88        #相同的VRID为一个组,它将决定多播的MAC地址
    priority 100    #主(172.16.7.10)的优先级为100,备(172.16.7.100)的为99
    advert_int 1    #VRRP Multicast广播周期秒数,设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
    authentication {
        auth_type PASS    #有两种认证方式,PASS或AH
        auth_pass 1111        #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信
    }
    virtual_ipaddress {
        172.16.7.1    #vip
    }
}
virtual_server 172.16.7.1 80 {
    delay_loop 6       #设置运行情况检查时间,单位是秒
    lb_algo wlc        #设置负载调度算法,wlc为最小加权算法,rr为轮训
    lb_kind DR         #设置LVS负载均衡DR模式
    net_mask 255.255.255.0
    #persistence_timeout 0    #设置成非0后,过一会访问VIP,就会出现访问不到的情况,JJ也注释掉了这个参数
                             #会话保持时间,单位是秒。这个选项对动态网页是非常有用的,为集群系统中的session共享提供了一个很好>的解决方案。
                             #有了这个会话保持功能,用户的请求会被一直分发到某个服务节点,直到超过这个会话的保持时间。
                             #需要注意的是,这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态页面时,如果50秒内没有执行任何操作,
                             #那么接下来的操作会被分发到另外的节点,但是如果用户一直在操作动态页面,则不受50秒的时间限制
    protocol TCP        #使用TCP协议检查realserver状态,指定转发协议类型,有TCP和UDP两种
    sorry_server 127.0.0.1 80
    real_server 172.16.7.200 80 {    #对应后端web1
        weight 3   #节点权重值
        TCP_CHECK {                    #健康检查方式
            connect_port 80    
            connect_timeout 3      #连接超时
            nb_get_retry 3         #重试次数
            delay_before_retry 3   #重试间隔/S
        }
    }
    real_server 172.16.7.201 80 {    #对应后端web2
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

注:这里我想说一下lvs的session问题的处理功能,因为他不像haproxy和nginx可以工作在7层,所以lvs只提供简单的维持session功能的参数,就是persistence_timeout,哇,这个只是说你同一个source只能大概给你个session维持时间,不像haproxy的source算法和nginx的ip_hash功能,所以啊,这方面lvs做的不如nginx和haproxy好。

(2)配置LVS-DR-BACKUP

[root@LVS-DR-MASTER ~]# scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/
#
#
#复制过去只需修改state为backup和priority为99

(3)测试VIP飘移

   ①、启动keeplived服务后,LVS-DR-MASTER上拥有VIP

LVS(DR)+keepalived实现高可用负载均衡_第3张图片

   ②、企业MASTER上的keepalived服务,测试VIP飘移

LVS(DR)+keepalived实现高可用负载均衡_第4张图片

   ③、在LVS-DR-BACKUP上查看是否已拿到VIP

LVS(DR)+keepalived实现高可用负载均衡_第5张图片

2、配置web

(1)配置web1

   ①、配置realserver

[root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
[root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
[root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@web1 ~]#
[root@web1 ~]# ifconfig lo:0 172.16.7.1 netmask 255.255.255.255 broadcast 172.16.7.1 up
[root@web1 ~]#
[root@web1 ~]# route add -host 172.16.7.1 dev lo:0

   ②、编辑网页文件

[root@web1 ~]# yum -y install httpd
[root@web1 ~]#
[root@web1 ~]# vim /var/www/html/index.html

Welcome to web1(172.16.7.200)

   ③、启动httpd服务测试正常与否

[root@web1 ~]# service httpd start

LVS(DR)+keepalived实现高可用负载均衡_第6张图片

(2)配置web2

   方法同web1

(3)使用脚本配置 realserver

[root@localhost ~]# vi /etc/init.d/real.sh
#description : start realserver
VIP=172.16.7.1
. /etc/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS RealServer Start OK"
;;
stop)
/sbin/ifconfig lo:0 down
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS RealServer Stoped OK"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
[root@localhost ~]# chmod +x /etc/init.d/real.sh
[root@localhost ~]# /etc/init.d/real.sh start
LVS RealServer Start OK
[root@localhost ~]# echo "/etc/init.d/real.sh start" >> /etc/rc.local

3、访问VIP测试LVS(DR)+keepalived高可用负载均衡

(1)负载均衡测试

   ①、两台web都工作正常,访问VIP时,可以被负载到两台web上

   ②、停掉一台web的httpd服务,访问VIP是,被负载到正常的web服务器上

(2)高可用测试

   ①、首先两台DR的keepalived服务都正常,此时VIP在LVS-DR-MASTER(172.16.7.10)上

LVS(DR)+keepalived实现高可用负载均衡_第7张图片

   ②、关闭LVS-DR-MASTER上的keepalived服务,此时VIP在LVS-DR-BACKUP(172.16.7.100)上

[root@LVS-DR-MASTER ~]# service keepalived stop

经测试,访问172.16.7.1依然正常,通过keepalived+lvs避免了DR的单点故障,实现了高可用负载均衡

4、查看ipvs规则

   如果想查看生效的规则,只需安装ipvsadm即可

[root@LVS-DR-MASTER ~]# yum -y install ipvsadm
[root@LVS-DR-MASTER ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.7.1:80 wlc
  -> 172.16.7.200:80              Route   3      0          0       
  -> 172.16.7.201:80              Route   1      0          0


查看更多lvs相关内容请点击章文嵩博士原创论文:http://www.linuxvirtualserver.org/zh/lvs1.html