LVS负载均衡集群--DR模式部署
目录
引言：
一、LVS-DR模式
二、LVS-DR中的ARP问题
三、LVS-DR 特性
3.1 DR模式的特点
3.2 LVS-DR的优缺点
四、RS设置lo:0而不设置ens33:0的原因
五、DR模式 LVS负载均衡群集部署
5.1 环境准备
5.2 配置负载调度器（192.168.223.9）
5.2.1 配置虚拟 IP 地址（VIP：192.168.223.200）
5.2.2 调整 proc 响应参数
5.2.3 配置负载分配策略
5.3 部署共享存储（NFS服务器：192.168.223.10）
5.4 配置节点服务器（192.168.223.11、192.168.223.12）
5.4.1 配置虚拟 IP 地址（VIP：192.168.223.200，web1、web2同样配置）
5.4.2 调整 proc 响应参数 （web1、web2同样配置）
5.4.3 web1 节点配置
5.4.4 web2 节点配置
5.5 测试 LVS 群集
六、LVS-DR问题总结
1、LVS/DR如何处理请求报文的，会修改IP包内容吗？
2、RealServer为什么要在lo接口上配置VIP？在出口网卡上配置VIP可以吗？
3、RealServer为什么要抑制arp帧？
4、LVS/DR load balancer（director）与RS为什么要在同一网段中？
5、为什么director上eth0接口除了VIP另外还要配一个ip（即DIP）？
6、LVS/DR ip_forward需要开启吗？
7、director的vip的netmask一定要是255.255.255.255吗？
七、总结
引言：
director分配请求到不同的real server，real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与服务器的一半连接。避免了新的性能瓶颈，同样增加了系统的可伸缩性。Direct Routing由于采用物理层（修改MAC地址）技术，因此所有服务器都必须在一个网段中。
一、LVS-DR模式
Director Server作为群集的访问入口，但不作为网关使用，后端服务器池中的Real Server与Director Server在同一个物理网络中，发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问，DS（前端负载均衡节点服务器）与RS（后端真实服务器）都需要配置有VIP地址。
每个Real Server上都有两个IP：VIP（负载均衡对外提供访问的 IP 地址）和RIP（负载均衡后端的真实服务器 IP 地址），但是VIP是隐藏的，就是不能提供解析等功能，只是用来做请求回复的源IP的，Director上只需要一个网卡，然后利用别名来配置两个IP：VIP和DIP（负载均衡与后端服务器通信的 IP 地址），在DIR接收到客户端的请求后，DIR根据负载算法选择一台rs sever的网卡mac作为客户端请求包中的目标mac，通过arp转交给后端RS serve处理，后端再通过自己的路由网关回复给客户端。
数据包流向分析：
- 用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。
- 由于DS和RS在同一个网络中，所以是通过二层数据链路层来传输。
- 内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.
- RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给ens33网卡然后向外发出。
- RS直接将响应报文传送到客户端。
以客户端与服务端在同一网段为例
CIP：192.168.223.100
VIP：192.168.223.200
DIR: 192.168.223.9
RS ：192.168.223.10（nfs）、192.168.223.11和192.168.223.12（提供http服务）
整个请求过程示意：
这里假设CIP的mac地址为：00-50-56-C0-00-08 ，DIR的ens33的mac地址为：00-50-56-C0-00-01, RIP1的mac地址为: D0-50-99-18-18-15。CIP在请求之前会发一个arp广播包，即请求“谁是VIP”,由于所有的DIR和RIP都在一个物理网络中，而DIR和RIP都有VIP地址，为了让请求发送到DIR上，所以必须让RIP不能响应CIP发出的arp请求（这也是为什么RIP上要把VIP配置在lo口以及要仰制arp查询和响应）这时客户端就会将请求包发送给DIR，接下来就是DIR的事情了：
① client向目标vip发出请求，DIR接收。此时IP包头及数据帧头信息如下：
| 源mac | 目标mac | 源IP | 目标IP |
| 00-50-56-C0-00-08 | 00-50-56-C0-00-01 | 192.168.223.100 | 192.168.223.200 |
② DIR根据负载均衡算法选择一台active的RS（RIP1），将此RIP1所在网卡的mac地址作为目标mac地址，发送到局域网里。此时IP包头及数据帧头信息如下：
| 源mac | 目标mac | 源IP | 目标IP |
| 00-50-56-C0-00-01 | D0-50-99-18-18-15 | 192.168.223.100 | 192.168.223.200 |
③RIP1(192.168.223.11)在局域网中收到这个帧，拆开后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息如下：
| 源mac | 目标mac | 源IP | 目标IP |
| D0-50-99-18-18-15 | 00-50-56-C0-00-08 | 192.168.223.200 | 192.168.223.100 |
如果client与RS同一网段，那么client(192.168.223.100)将收到这个回复报文。如果跨了网段，那么报文通过gateway/路由器经由Internet返回给用户。在实际情况下，可能只有一个公网，其他都是内网，这时VIP绑定地址应该是公网那个ip，或者利用路由器静态NAT映射将公网与内网vip绑定也行。
二、LVS-DR中的ARP问题
1、在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。
2、在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。
当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到ARP广播。只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。
3、对节点服务器进行处理，使其不响应针对VIP的ARP请求。
使用虚接口lo:0承载VIP地址
设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
4、RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
5、发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址，如：ens33
6、路由器收到ARP请求后，将更新ARP表项
7、原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
8、路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效
解决方法：
1、arp ignore=1
防止网关路由发送ARP广播时调度器和节点服务器都进行响应，导致ARP缓存表混乱，不对非本地物理网卡的ARP请求进行响应.因为VIP时承载lo:0
2、arp _announce=2
系统不使用响应数据的源IP地址（VIP)来作为本机进行ARP请求报文的源ip地址，而使用发送报文的物理网卡IP地址作为ARP请求报文的源I地址，这样可以防止网关路由器接受到的源IP地址为VIP的ARP请求报文后的又更新ARP缓存表，导致外网再发送请求时，数据包到达不了调度器。
解决ARP的两个问题的设置方法：
修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2三、LVS-DR 特性
3.1 DR模式的特点
① Director Server 和Real Server 必须在同一-个物理网络中。
② Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
③ Director Server作为群集的访问入口，但不作为网关使用。
④ 所有的请求报文经由Director Server， 但回复响应报文不能经过Director Server。
⑤ Real Server 的网关不允许指向Director Server IP，即 Real Server 发送的数据包不允许经过Director Server。
⑥ Real Server 上的 lo 接口配置 VIP的IP地址。
LVS-DR模式需要注意的是：
- 保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS。
- 解决方案是：修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。
- arp_ignore=1表示系统只响应目的IP为本地IP的ARP请求。
- arp_announce=2表示系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。
3.2 LVS-DR的优缺点
优点：
负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为 超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-DR方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个 Virtual Server能达到1G的吞吐量。甚至更高；
缺点：
这种方式需要所有的DIR和RIP都在同一广播域；不支持异地容灾。
四、RS设置lo:0而不设置ens33:0的原因
因为“负载调度机”转发时并不会改写数据包的目的IP，所以“节点服务器”收到的数据包的目的IP仍是“负载调度器”的虚拟服务IP。为了保证“节点服务器”能够正确处理该数据包，而不是丢弃，必须在“节点服务器”的环回网卡上绑定“负载调度器”的虚拟服务IP。这样“节点服务器”会认为这个虚拟服务IP是自己的IP，自己是能够处理这个数据包的。否则“节点服务器”会直接丢弃该数据包！
“节点服务器”上的业务进程必须监听在环回网卡的虚拟服务IP上，且端口必须和“负载调度机”上的虚拟服务端口一致。因为“负载调度机”不会改写数据包的目的端口，所以“节点服务器”服务的监听端口必须和虚拟服务端口一致，否则“节点服务器”会直接拒绝该数据包。
“节点服务器”处理完请求后，响应直接回给客户端，不再经过“负载调度机”。因为“节点服务器”收到的请求数据包的源IP是客户端的IP，所以理所当然“节点服务器”的响应会直接回给客户端，而不会再经过“负载调度机”。这时候要求“节点服务器”和客户端之间的网络是可达的。
“负载调度机”和“节点服务器”须位于同一个子网。因为“负载调度机”在转发过程中需要改写数据包的MAC为“节点服务器”的MAC地址，所以要能够查询到“节点服务器”的MAC。而要获取到“节点服务器”的MAC，则需要保证二者位于一个子网，否则“负载调度机”只能获取到“节点服务器”网关的MAC地址。
五、DR模式 LVS负载均衡群集部署
5.1 环境准备
DR 服务器：192.168.223.9
Web 服务器1：192.168.223.11
Web 服务器2：192.168.223.12
nfs 服务器： 192.168.223.10
客户端：192.168.223.100
vip：192.168.223.2005.2 配置负载调度器（192.168.223.9）
systemctl stop firewalld.service
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm
5.2.1 配置虚拟 IP 地址（VIP：192.168.223.200）
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0 #若隧道模式，复制为ifcfg-tunl0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.116.200
NETMASK=255.255.255.255
ifup ens33:0
ifconfig ens33:0
route add -host 192.168.223.200 dev ens33:0
或者
ifconfig ens33:0 192.168.223.200 netmask 255.255.255.255 (临时)
5.2.2 调整 proc 响应参数
由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭Linux 内核的重定向参数响应。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
5.2.3 配置负载分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.116.200:80 -s rr
ipvsadm -a -t 192.168.116.200:80 -r 192.168.116.80:80 -g #若隧道模式，-g替换为-i
ipvsadm -a -t 192.168.116.200:80 -r 192.168.116.90:80 -g
ipvsadm
ipvsadm -ln #查看节点状态，Route代表 DR模式
5.3 部署共享存储（NFS服务器：192.168.223.10）
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
yum install nfs-utils rpcbind -y
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
mkdir /opt/lic /opt/zhangbin
chmod 777 /opt/lic /opt/zhangbin
vim /etc/exports
/opt/accp 192.168.223.0/24(rw,sync)
/opt/benet 192.168.223.0/24(rw,sync)
--发布共享---
exportfs -rv
5.4 配置节点服务器（192.168.223.11、192.168.223.12）
systemctl stop firewalld.service
setenforce 0
5.4.1 配置虚拟 IP 地址（VIP：192.168.223.200，web1、web2同样配置）
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.223.200
NETMASK=255.255.255.255 #注意：子网掩码必须全为 1
ifup lo:0
ifconfig lo:0
route add -host 192.168.223.200 dev lo:0 #添加VIP本地访问路由，将访问VIP的数据限制在本地，以避免通信紊乱
vim /etc/rc.local
/sbin/route add -host 192.168.223.200 dev lo:0
chmod +x /etc/rc.d/rc.local
5.4.2 调整 proc 响应参数 （web1、web2同样配置）
vim /etc/sysctl.conf
......
net.ipv4.conf.lo.arp_ignore = 1 #系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2 #系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p
或者
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind
systemctl start httpd
5.4.3 web1 节点配置
mount.nfs 192.168.223.10:/opt/lic /var/www/html
或
vim /etc/fstab
192.168.223.10:/opt/lic /var/www/html nfs defaults,_netdev 0 0
echo 'this is lic' > /var/www/html/index.html
5.4.4 web2 节点配置
mount.nfs 192.168.223.10:/opt/zhangbin /var/www/html
或
vim /etc/fstab
192.168.223.10:/opt/lic /var/www/html nfs defaults,_netdev 0 0
echo 'this is zhangbin' > /var/www/html/index.html
5.5 测试 LVS 群集
在客户端使用浏览器访问 http://192.168.116.200/，默认网关指向192.168.116.200
六、LVS-DR问题总结
1、LVS/DR如何处理请求报文的，会修改IP包内容吗？
vs/dr本身不会关心IP层以上的信息，即使是端口号也是tcp/ip协议栈去判断是否正确，vs/dr本身主要做这么几个事：
①接收client的请求，根据你设定的负载均衡算法选取一台realserver的ip；
②以选取的这个ip对应的mac地址作为目标mac，然后重新将IP包封装成帧转发给这台RS；
③在hash table中记录连接信息。
vs/dr做的事情很少，也很简单，所以它的效率很高，不比硬件负载均衡设备差多少，数据包、数据帧的大致流向是这样的：client –> VS –> RS –> client
2、RealServer为什么要在lo接口上配置VIP？在出口网卡上配置VIP可以吗？
既然要让RS能够处理目标地址为vip的IP包，首先必须要让RS能接收到这个包。在lo上配置vip能够完成接收包并将结果返回client。不可以将VIP设置在出口网卡上,否则会响应客户端的arp request,造成client/gateway arp table紊乱，以至于整个load balance都不能正常工作。
3、RealServer为什么要抑制arp帧？
我们知道仰制arp帧需要在server上执行以下命令，如下：
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
因为arp对逻辑口没有意义。实际上起作用的只有以下两条:
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
即对所有的物理网卡设置arp仰制。对仰制所有的物理网卡设置arp仰制是为了让CIP发送的请求顺利转交给DIR以及防止整个LVS环境arp表混乱，不然容易导致整个lvs不能工作。
4、LVS/DR load balancer（director）与RS为什么要在同一网段中？
lvs/dr它是在数据链路层来实现的，即RIP必须能够接受到DIR的arp请求，如果不在同一网段则会隔离arp，这样arp请求就不能转发到指定的RIP上，所以director必须和RS在同一网段里面。
5、为什么director上eth0接口除了VIP另外还要配一个ip（即DIP）？
如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。 没有健康检查机制的HA或者Load Balance则没有存在的实际意义。
6、LVS/DR ip_forward需要开启吗？
不需要。因为director跟realserver是同一个网段，无需开启转发。
7、director的vip的netmask一定要是255.255.255.255吗？
lvs/dr里，director的vip的netmask 没必要设置为255.255.255.255，director的vip本来就是要像正常的ip地址一样对外通告的,不要搞得这么特殊。
七、总结
1.介绍了lvs-dr的工作原理、数据流向，并对其中出现的问题进行阐述。
2.介绍了LVS-DR的特点及优缺点
3.部署内网LVS-DR