LVS + keepalive 前端高可用负载均衡器的实现

一、Keepalived详解

1、什么是keepalived

    keepalived是个基于VRRP协议来实现的LVS服务高可用方案，可以用来避免单点故障。一个LVS服务包含两台运行着keepalived服务的服务器，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外只表现为一个虚拟IP（VIP），主服务器会发送特定的消息给备份服务器。如果主服务器宕机时，备份服务器就收不到这个消息，此时备份服务器就会接管虚拟IP，继续提供服务，以实现高可用。

2、VRRP协议

    在现实网络中，两台主机之间并没有直接的物理连接，在这种情况下，该如何进行路由选择呢？通常有两种方式：第一，在主机上配置动态路由协议，比如RIP，OSPF等；第二，在主机上配置静态路由。在主机上配置动态路由协议成本较高，所以静态路由协议就比较流行。但路由器往往会成为单点故障。

    VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过竞选(election)协议，动态的将路由任务交给虚拟路由器中的某台VRRP路由器。

3、VRRP工作机制

     在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP。MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

        VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过多播(multicast)(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(即VIP)。

        在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息，BACKUP不会抢MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。

4、VRRP工作流程

（1）初始化

        路由器启动时，如果路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；否则进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。

（2）Master

        

二、实验环境

1.使用Centos6.6系统，在虚拟机上克隆了4台。分别为：

    Node1:192.168.1.119 作为RS1

    Node2:192.168.1.120 作为RS2

    Master：192.168.1.121 

    Slave：192.168.1.122

    VIP：192.168.1.215

2.时间同步

node1

[root@bogon ~]#ntpdate 202.120.2.101

node2

[root@bogon ~]#ntpdate 202.120.2.101

Master

[root@bogon ~]#ntpdate 202.120.2.101

Slave

[root@bogon ~]#ntpdate 202.120.2.101

3.主机名解析

node1

[root@bogon ~]# cat /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.0.1 server.magelinux.com server
192.168.1.119 node1.zhoushuyu.com    node1
192.168.1.120 node2.zhoushuyu.com    node2

把该配置文件传递给node2

[root@bogon ~]# scp /etc/hosts192.168.1.120:/etc/

三、实现过程

node1

1.安装httpd

[root@bogon ~]# yum install httpd

2.配置httpd

[root@bogon ~]# vim /var/www/html/index.html
<h1>RS1</h1>

3.启动httpd服务

[root@bogon ~]# service httpd start

4.测试

5.设置开机自启动

[root@bogon~]# chkconfig httpd on
[root@bogon~]# chkconfig httpd --list
httpd               0:off 1:off 2:on 3:on 4:on 5:on 6:off

6.配置node1

[root@bogon ~]#mkdir src
[root@bogon ~]#cd src
[root@bogonsrc]# vim realserver.sh
#!/bin/bash
 
.  /etc/rc.d/init.d/functions
VIP=192.168.1.215
host=`/bin/hostname`
case"$1" in
start)
        /sbin/ifconfig lo down
        /sbin/ifconfig lo up
        echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
        /sbin/ifconfig lo:0 $VIP broadcast $VIPnetmask 255.255.255.255 up
        /sbin/route add -host $VIP dev lo:0
;;
stop)
        /sbin/ifconfig lo:0 down
        echo 0 >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 0 >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo 0 >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo 0 >/proc/sys/net/ipv4/conf/all/arp_announce
;;
status)
        islothere=`/sbin/ifconfig lo:0 | grep$VIP`
        isrothere=`netstat -rn | grep"lo:0" | grep $VIP`
        if [ ! "$islothere" -o !"$isrothere" ];then
                echo "RS Stopped"
        else
                echo "RS Running"
        fi
;;
*)
        echo "$0: Usage:$0{start|status|stop}"
        exit 1
;;
esac
 
[root@bogonsrc]# chmod +x realserver.sh
[root@bogonsrc]# ll
total 4
-rwxr-xr-x 1root root 985 Oct 21 12:03 realserver.sh
[root@bogonsrc]# ./realserver.sh start

7.查看配置

[root@bogonsrc]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:DC:10:96 
          inet addr:192.168.1.119  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr:fe80::20c:29ff:fedc:1096/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:4706 errors:0 dropped:0overruns:0 frame:0
          TX packets:2293 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:2440828 (2.3 MiB)  TX bytes:302434 (295.3 KiB)
 
lo        Link encap:Local Loopback 
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536 Metric:1
          RX packets:0 errors:0 dropped:0overruns:0 frame:0
          TX packets:0 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
 
lo:0      Link encap:Local Loopback 
          inet addr:192.168.1.215  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536 Metric:1
 
[root@bogonsrc]# route -n
Kernel IProuting table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
168.1.215   0.0.0.0         255.255.255.255 UH    0     0        0 lo
168.1.0     0.0.0.0         255.255.255.0   U    1      0        0 eth1
0.0.0        192.168.1.1     0.0.0.0         UG   0      0        0 eth1
 
[root@bogon src]# cat /proc/sys/net/ipv4/conf/lo/arp_ignore
1
[root@bogon src]# cat /proc/sys/net/ipv4/conf/lo/arp_announce
2
[root@bogon src]# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
[root@bogon src]# cat /proc/sys/net/ipv4/conf/all/arp_announce
2

node2

1.配置httpd，并启动服务

[root@bogon ~]# vim /var/www/html/index.html
<h1>RS2</h1>
[root@bogon ~]# service httpd start

2.测试

3.设置开机自启动

[root@bogon~]# chkconfig httpd on
[root@bogon~]# chkconfig httpd --list
httpd               0:off 1:off 2:on 3:on 4:on 5:on 6:off

4.配置node2

[root@bogon~]# mkdir src
[root@bogon ~]# cd src
在node1上将realserver.sh传过来
[root@bogon src]# scp realserver.sh192.168.1.120:/root/src/
[root@bogonsrc]# ./realserver.sh start

5.查看配置

[root@bogonsrc]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:CB:6B:06 
          inet addr:192.168.1.120  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fecb:6b06/64Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500 Metric:1
          RX packets:2986 errors:0 dropped:0overruns:0 frame:0
          TX packets:1398 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:2292870 (2.1 MiB)  TX bytes:143620 (140.2 KiB)
 
lo        Link encap:Local Loopback 
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536 Metric:1
          RX packets:0 errors:0 dropped:0overruns:0 frame:0
          TX packets:0 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
 
lo:0      Link encap:Local Loopback 
          inet addr:192.168.1.215  Mask:255.255.255.255
          UP LOOPBACKRUNNING  MTU:65536  Metric:1
[root@bogonsrc]# route -n
Kernel IProuting table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
168.1.215   0.0.0.0         255.255.255.255 UH    0     0        0 lo
168.1.0     0.0.0.0         255.255.255.0   U    1      0        0 eth1
0.0.0         192.168.1.1     0.0.0.0         UG   0      0        0 eth1
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/lo/arp_announce
2
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/lo/arp_ignore
1
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/all/arp_announce
2

master(192.168.1.121)和slave(192.168.1.222)

1.安装keepalived和ipvsadm

yum install keepalived ipvsadm -y

2.修改配置文件

!Configuration File for keepalived
global_defs{
   notification_email {
        root@localhost
   }
   [email protected]
   smtp_server 172.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_instanceVI_1 {
    state MASTER
    interface eth1
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass f6de2fd2
    }
    virtual_ipaddress {
        192.168.1.215
    }
}
virtual_server192.168.1.215 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    #persistence_timeout 50
    protocol TCP
 
    real_server 192.168.1.119 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
 
    real_server 192.168.1.120 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
 
}

3.将配置文件传递给192.168.1.122

[root@bogonkeepalived]# scp keepalived.conf 192.168.1.122:/etc/keepalived/

4.修改一下.122主机上的配置文件

state BACKUP
priority 99

5.启动Master和Slave上的keepalived服务

[root@bogon ~]# service keepalived start

6.查看LVS状态

[root@bogon~]# ipvsadm -L -n
IP VirtualServer version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  -> 192.168.1.119:80             Route   1     0          0        
  ->192.168.1.120:80              Route   1     0          0

7.使用ip addr list 查看，此处VIP在Master主机上

模拟故障

1.停止node1

[root@bogonsrc]# service httpd stop
Stoppinghttpd:                                           [  OK  ]

2.在master上查看lvs

[root@bogon~]# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  ->192.168.1.120:80             Route   1     0          0

3.测试

  此时只能在slave上请求到node2

   重启node1

[root@bogon src]# service httpd start
Starting httpd: httpd: Could not reliablydetermine the server's fully qualified domain name, using 211.98.71.195 forServerName                                         [  OK  ]

   再次查看lvs状态

4.关闭master上的keepalived

[root@bogon ~]#service keepalived stop
Stoppingkeepalived:                                       [  OK  ]

5.查看slave的状态

    slave已经拿到了VIP192.168.1.215

    在master上执行如下命令

   说明slave已经接替了master 

配置sorry server

当所有的RS都宕机后，客户端访问时会出现错误页面，这将使很不友好的；所以我们要提供一个维护页面来提醒用户。

1.在master和slave上安装httpd

[root@bogon ~]# yum install httpd

2.配置维护页面

[root@bogon ~]# vim /var/www/html/index.html

3.启动httpd服务并测试

[root@bogon ~]# service httpd start

4.修改配置文件，在文件的末尾加入一行

sorry_server 127.0.0.1 80

5.关闭所有RS

[root@bogon src]# service httpd stop
重启master和slave的keepalived
[root@bogon ~]# service keepalived restart

6.查看一下master和slave上的lvs

[root@bogon~]# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  ->127.0.0.1:80                 Local   1     0          0

这是slave上的：
[root@bogon~]# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  -> 127.0.0.1:80                 Local   1     0          0        
You have new mail in /var/spool/mail/root

7.测试

如何完成维护模式下keepalived的切换？

1.修改配置文件

在global_defs {} 和vrrp_instanceVI_1{}之间加入如下内容
vrrp_scriptchk_schedown {
   svript "[ -e /etc/keepalived/down ]&& exit 1 || exit 0"
   interval 1
   weight -5
   fall 2
   rise 1
}
在vrrp_instance VI_1{}中加入如下内容
track_script{
        chk_schedown
    }

2.测试

在master上创建一个down，然后ip addr list 查看VIp是否已经转移到slave上。
[root@bogonkeepalived]# touch down
[root@bogonkeepalived]# ip addr list
1: lo:<LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000
    link/ether 00:0c:29:27:c6:65 brdff:ff:ff:ff:ff:ff
    inet 192.168.1.121/24 brd 192.168.1.255scope global eth1
    inet6 fe80::20c:29ff:fe27:c665/64 scopelink
       valid_lft forever preferred_lft forever
3: pan0:<BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN
link/ether e6:55:94:ce:b7:1d brd ff:ff:ff:ff:ff:ff

在slave上

这样就完成了通过监控脚本实现维护模式的切换