集群及LVS简介 LVS-NAT集群 LVS-DR集群
Top
NSD CLUSTER DAY02
案例1：ipvsadm命令用法
案例2：部署LVS-NAT集群
案例3：部署LVS-DR集群
1 案例1：ipvsadm命令用法
1.1 问题
准备一台Linux服务器，安装ipvsadm软件包，练习使用ipvsadm命令，实现如下功能：
使用命令添加基于TCP一些的集群服务
在集群中添加若干台后端真实服务器
实现同一客户端访问，调度器分配固定服务器
会使用ipvsadm实现规则的增、删、改
保存ipvsadm规则
1.2 方案
安装ipvsadm软件包，关于ipvsadm的用法可以参考man ipvsadm资料。
常用ipvsadm命令语法格式如表-1及表-2所示。
这里写图片描述
表－2 ipvsadm语法案例
这里写图片描述
1.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：使用命令增、删、改LVS集群规则
1）创建LVS虚拟集群服务器
copytextpop-up
[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.4.5:80 wrr
1
[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.4.5:80 wrr
2）为集群添加若干real server
copytextpop-up
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -m -w 1
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.4.5:80 wrr
-> 192.168.2.100:80 Masq 1 0 0
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
[root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
[root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4
1
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -m -w 1
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.4.5:80 wrr
-> 192.168.2.100:80 Masq 1 0 0
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
[root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
[root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4
3）修改集群服务器设置(修改调度器算法，将加权轮询修改为轮询)
copytextpop-up
[root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.4.5:80 rr
-> 192.168.2.100:80 Masq 1 0 0
-> 192.168.2.200:80 Masq 2 0 0
-> 192.168.2.201:80 Masq 2 0 0
-> 192.168.2.202:80 Masq 1 0 0
1
[root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.4.5:80 rr
-> 192.168.2.100:80 Masq 1 0 0
-> 192.168.2.200:80 Masq 2 0 0
-> 192.168.2.201:80 Masq 2 0 0
-> 192.168.2.202:80 Masq 1 0 0
4）修改read server（将模式改为DR模式）
copytextpop-up
[root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g
1
[root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g
5）查看LVS状态
copytextpop-up
[root@proxy ~]# ipvsadm -Ln
1
[root@proxy ~]# ipvsadm -Ln
6）创建另一个集群
copytextpop-up
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m
1
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m
6）保存所有规则
copytextpop-up
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
1
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
7）清空所有规则
copytextpop-up
[root@proxy ~]# ipvsadm –C
1
[root@proxy ~]# ipvsadm –C
2 案例2：部署LVS-NAT集群
2.1 问题
使用LVS实现NAT模式的集群调度服务器，为用户提供Web服务：
集群对外公网IP地址为192.168.4.5
调度器内网IP地址为192.168.2.5
真实Web服务器地址分别为192.168.2.100、192.168.2.200
使用加权轮询调度算法，真实服务器权重分别为1和2
2.2 方案
实验拓扑结构主机配置细节如表-3所示。
表-3
这里写图片描述
使用4台虚拟机，1台作为Director调度器、2台作为Real Server、1台客户端，拓扑结构如图-1所示。
这里写图片描述
图-1
2.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：配置基础环境
1）设置Web服务器（以web1为例）
copytextpop-up
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html
1
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo “192.168.2.100” > /var/www/html/index.html
2）启动Web服务器软件
copytextpop-up
[root@web1 ~]# systemctl restart httpd
1
[root@web1 ~]# systemctl restart httpd
3)关闭防火墙与SELinux
copytextpop-up
[root@web1 ~]# systmctl stop firewalld
[root@web1 ~]# setenforce 0
1
[root@web1 ~]# systmctl stop firewalld
[root@web1 ~]# setenforce 0
步骤三：部署LVS-NAT模式调度器
1)确认调度器的路由转发功能(如果已经开启，可以忽略)
copytextpop-up
[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward
1
[root@proxy ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
#修改配置文件，设置永久规则
1
[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward
1
[root@proxy ~]# echo “net.ipv4.ip_forward = 1” >> /etc/sysctl.conf
修改配置文件，设置永久规则
2）创建集群服务器
copytextpop-up
[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
1
[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
2）添加真实服务器
copytextpop-up
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m
1
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m
3）查看规则列表，并保存规则
copytextpop-up
[root@proxy ~]# ipvsadm -Ln
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
1
[root@proxy ~]# ipvsadm -Ln
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
步骤四：客户端测试
客户端使用curl命令反复连接http://192.168.4.5，查看访问的页面是否会轮询到不同的后端真实服务器。
3 案例3：部署LVS-DR集群
3.1 问题
使用LVS实现DR模式的集群调度服务器，为用户提供Web服务：
路由器对外公网IP地址为202.114.106.20
路由器内网IP地址为192.168.0.254
路由是需要设置SNAT及DNAT功能
LVS调度器真实IP地址为192.168.0.10
LVS调度器VIP地址设置为192.168.0.253
真实Web服务器地址分别为192.168.0.1、192.168.0.2
使用加权轮询调度算法，真实服务器权重与其IP地址末尾数一致
3.2 方案
使用4台虚拟机，1台作为客户端、1台作为Director调度器、2台作为Real Server、，拓扑结构如图-2所示。实验拓扑结构主机配置细节如表-4所示。
这里写图片描述
图-2
表-4
这里写图片描述
3.3 步骤
实现此案例需要按照如下步骤进行。
说明：VIP是对客户端提供服务的IP地址，RIP是后端服务器的真实IP地址，DIP是调度器与后端服务器通信的IP地址（DIP必须配置在虚拟接口）。
步骤一：配置实验网络环境
1）设置Proxy代理服务器的VIP和DIP
注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口！！！
调度器使用DIP与RIP通信，否则会出现192.168.4.5与192.168.4.5通信。
copytextpop-up
[root@proxy ~]# cd /etc/sysconfig/network-scripts/
[root@proxy ~]# cp ifcfg-eth0{,:0}
[root@proxy ~]# vim ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.4.15
PREFIX=24
[root@proxy ~]# vim ifcfg-eth0:0
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
NAME=eth0:0
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.4.5
PREFIX=24
[root@proxy ~]# systemctl restart network
1
[root@proxy ~]# cd /etc/sysconfig/network-scripts/
[root@proxy ~]# cp ifcfg-eth0{,:0}
[root@proxy ~]# vim ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.4.15
PREFIX=24
[root@proxy ~]# vim ifcfg-eth0:0
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
NAME=eth0:0
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.4.5
PREFIX=24
[root@proxy ~]# systemctl restart network
2）设置Web1服务器网络参数
copytextpop-up
[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.10/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0
1
[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.10/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0
接下来给web1配置VIP地址
注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。
copytextpop-up
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo{,:0}
[root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.5
NETMASK=255.255.255.255
NETWORK=192.168.4.5
BROADCAST=192.168.4.5
ONBOOT=yes
NAME=lo:0
1
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo{,:0}
[root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.5
NETMASK=255.255.255.255
NETWORK=192.168.4.5
BROADCAST=192.168.4.5
ONBOOT=yes
NAME=lo:0
注意：这里因为web1也配置与代理一样的VIP地址，默认肯定会出现地址冲突。
写入这四行的主要目的就是访问192.168.4.5的数据包，只有调度器会响应，其他主机都不做任何响应。
copytextpop-up
[root@web1 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.5时，本机忽略该ARP广播，不做任何回应
#本机不要向外宣告自己的lo回环地址是192.168.4.5
1
[root@web1 ~]# vim /etc/sysctl.conf
手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
当有arp广播问谁是192.168.4.5时，本机忽略该ARP广播，不做任何回应
本机不要向外宣告自己的lo回环地址是192.168.4.5
重启网络服务，设置防火墙与SELinux
copytextpop-up
[root@web1 ~]# systemctl restart network
[root@web1 ~]# ifdown eth1
[root@web1 ~]# ifconfig
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
1
[root@web1 ~]# systemctl restart network
[root@web1 ~]# ifdown eth1
[root@web1 ~]# ifconfig
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
3）设置Web2服务器网络参数
copytextpop-up
[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.20/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth0
1
[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.20/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth0
接下来给web2配置VIP地址
注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。
copytextpop-up
[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 ~]# cp ifcfg-lo{,:0}
[root@web2 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.5
NETMASK=255.255.255.255
NETWORK=192.168.4.5
BROADCAST=192.168.4.5
ONBOOT=yes
NAME=lo:0
1
[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 ~]# cp ifcfg-lo{,:0}
[root@web2 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.5
NETMASK=255.255.255.255
NETWORK=192.168.4.5
BROADCAST=192.168.4.5
ONBOOT=yes
NAME=lo:0
注意：这里因为web2也配置与代理一样的VIP地址，默认肯定会出现地址冲突。
写入这四行的主要目的就是访问192.168.4.5的数据包，只有调度器会响应，其他主机都不做任何响应。
copytextpop-up
[root@web2 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.5时，本机忽略该ARP广播，不做任何回应
#本机不要向外宣告自己的lo回环地址是192.168.4.5
1
[root@web2 ~]# vim /etc/sysctl.conf
手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
当有arp广播问谁是192.168.4.5时，本机忽略该ARP广播，不做任何回应
本机不要向外宣告自己的lo回环地址是192.168.4.5
重启网络服务，设置防火墙与SELinux
copytextpop-up
[root@web2 ~]# systemctl restart network
[root@web2 ~]# ifdown eth1
[root@web2 ~]# ifconfig
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0
1
[root@web2 ~]# systemctl restart network
[root@web2 ~]# ifdown eth1
[root@web2 ~]# ifconfig
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0
步骤二：配置实验网络环境
1）自定义Web页面
copytextpop-up
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "192.168.4.10" > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo "192.168.4.20" > /var/www/html/index.html
1
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo “192.168.4.10” > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo “192.168.4.20” > /var/www/html/index.html
2）启动Web服务器软件
copytextpop-up
[root@web1 ~]# systemctl start httpd; systemctl enable httpd
[root@web2 ~]# systemctl start httpd; systemctl enable httpd
1
[root@web1 ~]# systemctl start httpd; systemctl enable httpd
[root@web2 ~]# systemctl start httpd; systemctl enable httpd
步骤三：proxy调度器安装软件并部署LVS-DR模式调度器
1）安装软件（如果已经安装，此步骤可以忽略）
copytextpop-up
[root@proxy Packages]# yum -y install ipvsadm
1
[root@proxy Packages]# yum -y install ipvsadm
2）清理之前实验的规则，创建新的集群服务器规则
copytextpop-up
[root@proxy ~]# ipvsadm -C #清空所有规则
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
1
[root@proxy ~]# ipvsadm -C #清空所有规则
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
3）添加真实服务器(-g参数设置LVS工作模式为DR模式)
copytextpop-up
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.4.10 -g -w 1
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.4.20 -g -w 1
1
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.4.10 -g -w 1
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.4.20 -g -w 1
4）查看规则列表，并保存规则
copytextpop-up
[root@proxy ~]# ipvsadm –Ln
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
1
[root@proxy ~]# ipvsadm –Ln
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
步骤四：客户端测试
客户端使用curl命令反复连接http://192.168.4.5，查看访问的页面是否会轮询到不同的后端真实服务器。
扩展知识：默认LVS不带健康检查功能，需要自己手动编写动态检测脚本，实现该功能：(参考脚本如下，仅供参考)
copytextpop-up
[root@proxy ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.5:80
RIP1=192.168.4.10
RIP2=192.168.4.20
while :
do
for IP in $RIP1 $RIP2
do
curl -s http://$IP &>/dev/vnullweb_stat=$?
ipvsadm -Ln | grep -q $IP web_in_lvs=$?
if [ $web_stat -ne 0 -a $web_in_lvs -eq 0 ];then
ipvsadm -d -t $VIP -r $IP
elif [ $web_stat -eq 0 -a $web_in_lvs -ne 0 ];then
ipvsadm -a -t $VIP -r $IP
fi
done
sleep 1
done
1
[root@proxy ~]# vim check.sh
!/bin/bash
VIP=192.168.4.5:80
RIP1=192.168.4.10
RIP2=192.168.4.20
while :
do
for IP in RIP1
RIP2
do
curl -s http://$IP &>/dev/vnull
web_stat=?ipvsadm−Ln|grep−qIP
web_in_lvs=?if[web_stat -ne 0 -a webinlvs−eq0];thenipvsadm−d−tVIP -r IPelif[web_stat -eq 0 -a webinlvs−ne0];thenipvsadm−a−tVIP -r $IP
fi
done
sleep 1
done