本篇主要演示通过Keepalived配置管理LVS集群,并对后端RealServer进行健康状态检测(应用层检测),具体工作原理可以见上一篇博客《Keepalived学习总结》。


实验要求 ==> 将两台前端调度器node1和node2配置为一组VRRP示例(即单实例Keepalived),VIP是192.168.10.7。node1和node2根据请求报文的目标IP和目标PORT,按照一定的调度算法,实现将其调度至后端的RealServer,由后端RealServer响应请求报文。

实验环境 ==> CentOS 7.x

实验目的 ==> 通过Keepalived配置管理LVS,并对后端RealServer进行健康状态检测

实验主机 ==> 一共四台主机,分别如下。

192.168.10.6(主机名:node1)

192.168.10.8(主机名:node2)

192.168.10.11(主机名:rs1)

192.168.10.12(主机名:rs2)

实验前提 ==> 高可用对之间时间同步(可通过周期性任务来实现)

实验操作如下。


1、编译Keepalived配置文件


2、启动Keepalived服务

(1) 在node2(192.168.10.8)上

[root@node2 ~]# systemctl start keepalived.service
[root@node2 ~]# ifconfig 
ens34: flags=4163  mtu 1500
        inet 192.168.10.8  netmask 255.255.255.0  broadcast 192.168.10.255
        ether 00:0c:29:ef:52:87  txqueuelen 1000  (Ethernet)
        RX packets 17975  bytes 6997522 (6.6 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2636  bytes 275578 (269.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens34:0: flags=4163  mtu 1500
        inet 192.168.100.7  netmask 255.255.255.255  broadcast 0.0.0.0
        ether 00:0c:29:ef:52:87  txqueuelen 1000  (Ethernet)

lo: flags=73  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10
        loop  txqueuelen 0  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

由于此时只有node2节点开启keepalived服务,因此VIP配置在node2节点上。现在在node1节点上也开启keepalived服务,由于node1的优先级比node2高,因此VIP会漂移到node1节点上。


(2) 在node1(192.168.10.6)上

[root@node1 ~]# systemctl start keepalived.service
[root@node1 ~]# ifconfig 
ens33: flags=4163  mtu 1500
        inet 192.168.10.6  netmask 255.255.255.0  broadcast 192.168.10.255
        ether 00:0c:29:f7:b3:4e  txqueuelen 1000  (Ethernet)
        RX packets 13628  bytes 8098564 (7.7 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 11863  bytes 1007226 (983.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33:0: flags=4163  mtu 1500
        inet 192.168.100.7  netmask 255.255.255.255  broadcast 0.0.0.0
        ether 00:0c:29:f7:b3:4e  txqueuelen 1000  (Ethernet)

lo: flags=73  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10
        loop  txqueuelen 0  (Local Loopback)
        RX packets 9  bytes 600 (600.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 9  bytes 600 (600.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0


2、配置RealServer的服务资源

(1) 在rs1(192.168.10.11)上

[root@rs1 ~]# yum -y install httpd
[root@rs1 ~]# echo "

RealServer 1

" > /var/www/html/index.html [root@rs1 ~]# systemctl start httpd.service                                                     :::*                   [root@rs1 ~]# ss -tnl | grep :80 LISTEN     0      128         :::80                      :::*


(2) 在rs2(192.168.10.12)上

[root@rs2 ~]# yum -y install httpd
[root@rs2 ~]# echo "

RealServer 2

" > /var/www/html/index.html [root@rs2 ~]# systemctl start httpd.service [root@rs2 ~]# ss -tnl | grep :80 LISTEN     0      128         :::80                      :::*


3、配置Director为Sorry Server

(1) 在node1(192.168.10.6)上

[root@node1 ~]# yum -y install httpd
[root@node1 ~]# echo "

Sorry Server 1

" > /var/www/html/index.html [root@node1 ~]# systemctl start httpd.service [root@node1 ~]# ss -tnl | grep :80 LISTEN     0      128          *:80                       *:*


(2) 在node2(192.168.10.8)上

[root@node2 ~]# yum -y install httpd
[root@node2 ~]# echo "

Sorry Server 2

" > /var/www/html/index.html [root@node2 ~]# systemctl start httpd.service [root@node2 ~]# ss -tnl | grep :80 LISTEN     0      128          *:80                       *:*


4、测试

(1) 在主机(192.168.10.99 ==> FTP服务器)上测试访问VIP(192.168.10.7)的80端口

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 2

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 2

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 2

结果为根据rr调度算法将请求报文转发至RealServer1和RealServer2.


此时在node1(192.168.10.6)上用ipvsadm命令查看集群服务。

[root@node1 keepalived]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.7:80 rr
  -> 192.168.10.11:80             Route   1      0          3         
  -> 192.168.10.12:80             Route   1      0          3


(2) 停止RealServer 1上的Web服务,再进行测试

[root@rs2 ~]# systemctl stop httpd.service


在192.168.10.99上再次请求,结果如下。

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html


此时在node1(192.168.10.6)上用ipvsadm命令查看集群服务。

[root@node1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.7:80 rr
  -> 192.168.10.11:80             Route   1      0          3

可以发现,Keepalived服务通过IPVS Wrapper这个底层接口分许Keepalived配置文件,并将RealServer 2移除了。


(3) 停止RealServer 2上的Web服务,再进行测试

[root@rs1 ~]# systemctl stop httpd.service


在192.168.10.99上再次请求,结果如下。

[root@ftp ~]# curl http://192.168.10.7/index.html

Sorry Server 1

[root@ftp ~]# curl http://192.168.10.7/index.html

Sorry Server 1

[root@ftp ~]# curl http://192.168.10.7/index.html

Sorry Server 1


此时在node1(192.168.10.6)上用ipvsadm命令查看。

[root@node1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.7:80 rr
  -> 127.0.0.1:80                 Route   1      0          3

可以发现,Keepalived服务已经将RealServer 1移除了,这时已经没有一台RealServer提供Web服务了。而当Keepalived检测到所有RealServer都故障时,会由Sorry Server对客户端请求进行响应。


(4) 让node1节点下线,测试node2节点是否能够接管node1的VIP和服务资源

[root@node1 ~]# systemctl stop keepalived.service


在node2节点上查看IP,如下。

[root@node2 ~]# ifconfig 
ens34: flags=4163  mtu 1500
        inet 192.168.10.8  netmask 255.255.255.0  broadcast 192.168.10.255
        ether 00:0c:29:ef:52:87  txqueuelen 1000  (Ethernet)
        RX packets 23876  bytes 7443422 (7.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5114  bytes 527694 (515.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens34:0: flags=4163  mtu 1500
        inet 192.168.10.7  netmask 255.255.255.255  broadcast 0.0.0.0
        ether 00:0c:29:ef:52:87  txqueuelen 1000  (Ethernet)

lo: flags=73  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10
        loop  txqueuelen 0  (Local Loopback)
        RX packets 19  bytes 1252 (1.2 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 19  bytes 1252 (1.2 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

可以发现,node2已经接管了node1的工作。


此时仍然没有一台RealServer提供服务,调度器的VIP漂移至node2节点上,我们在192.168.10.99主机上再进行测试。

[root@ftp ~]# curl http://192.168.10.7/index.html

Sorry Server 2

[root@ftp ~]# curl http://192.168.10.7/index.html

Sorry Server 2

[root@ftp ~]# curl http://192.168.10.7/index.html

Sorry Server 2

此时Say sorry的web服务器是node2。


(5) 再次启动rs1和rs2,并进行测试

启动完rs1和rs2上的Web服务后,在node2(192.168.10.8)节点上使用ipvsadm命令查看集群服务。

[root@node2 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.7:80 rr
  -> 192.168.10.11:80             Route   1      0          0         
  -> 192.168.10.12:80             Route   1      0          0

可以发现,一旦rs1和rs2故障修复完成,能够正常提供服务时,会立即被Keepalived服务检测到,并将其添加到调度器的正常转发队列中。此时前端调度器由node2接管资源。在192.168.10.99主机上再进行测试。

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 2

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 2

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 1

[root@ftp ~]# curl http://192.168.10.7/index.html

RealServer 2

实验完成!