LVS-DR相关原理和配置流程

LVS-DR

LVS-DR的数据包流向分析

为方便进行原理分析，将客户端与群集机器放在同一个网络中，数据包流经路线为1-2-3-4

1.客户机向目标VIP发出请求，director（负载均衡器）接收
2.director根据负载均衡算法选择服务器realserver1，不修改也不封装IP报文，而是将数据帧mac地址改为服务器mac地址，然后再局域网上发送
3.服务器rs1收到这个帧解封装后发现目标ip与本机匹配（服务器事先绑定了vip），于是处理了这个报文。随后重新封装报文，发送到局域网
4.客户机收到回复报文，认为得到正常的服务，而不会知道是哪一台服务器处理（如果跨网段，则报文用过路由器经由internet返回给用户）

lvs-DR中的ARP问题

ARP响应问题

在lvs-DR负载均衡群集中，负载均衡器与节点服务器都要配置相同的VIP地址。（只有调度器的VIP配置在ens33上，服务器的vip时配置在lo环回上）
在局域网中具有相同的IP地址，会造成个服务器的ARP通讯紊乱，当ARP广播发送到lvs-DR群集时，因为负载均衡器和节点服务器都是连接到相同的网络上，他们都会接收到ARP广播。只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

解决方法
当配置arp_ignore=1时，实际网卡上收到的目的ip为环回网卡ip的arp请求，发现请求的ip不是自己的实际ip，不会回应arp响应。

服务器响应时，路由器记录服务器mac，导致调度器vip失效

服务器返回报文（源ip是vip）经由路由器转发，重新封装报文时，需要先获取路由器的mac地址。发送ARP请求时，linux默认使用IP包的源ip地址（即vip）作为arp请求包的源ip地址，而不使用发送端端口的IP地址。路由器接收到arp请求后，将更新arp表项，原有的vip对应的调度器的mac地址会被更新为vip对应得服务器mac地址。下次访问VIP时，将会通过路由器中的arp的记录，绕过调度器，直接访问服务器，即导致调度器的vip失效。

解决方法
对服务器进行处理，设置内核参数arp_announce=2，系统不使用ip包的源地址来设置arp请求的源地址，而选择发送接口的IP地址。
客户端将收到恢复报文，且会认为得到正常的服务，而不会知道是哪台服务器处理的（如果跨网段，则报文通过路由器经由internet返回给用户）

具体的设置参数

修改/etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1 #只有确定发给环回口的请求，才会响应net.ipv4.conf.lo.arp_announce = 2 #回包时，是使用接口实际ip进行回包net.ipv4.conf.all.arp_ignore = 1 #用于所有网卡
net.ipv4.conf.all.arp_announce = 2

流程

准备

准备1，2，3，4，5主机
1作为调度器，2，3作为服务器，4作为存储器，5作为客户端
调度器1，IP地址20.0.0.10
服务器2，3上配置IP地址分别为20.0.0.20和20.0.0.30
4作为存储器配置IP地址为20.0.0.40
客户端5地址20.0.0.50

配置

在存储器上配置好两个网页（需要区分，所以要两个网页）
yum -y install rpcbind nfs-utils
mkdir /opt/web1
mkdir /opt/web2
echo “web1” > /opt/web1/index.html
echo “web2” > /opt/web2/index.html

将网页挂载到20和30两个服务器上
vi /etc/exports

重启服务
systemctl restart nfs
systemctl restart rpcbind
systemctl status nfs
systemctl status rpcbind

检查挂载情况

将对应的网页挂载到网页根目录下
在2号主机
mount 20.0.0.40:/opt/web1 /var/www/html

设置配置脚本
vi web1.sh

运行后查看效果

在三号主机
mount 20.0.0.40:/opt/web2 /var/www/html

设置配置脚本
vi web2.sh

运行后查看效果

配置调度服务器
检测加载模块
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm

配置调度器脚本
vi dr.sh（修正后）

执行出现问题，虚拟ip后为加上端口执行出错，修正后执行成功

在客户机上访问虚拟地址20.0.0.100后，在另一台客户机上访问

在调度器上查看调度情况