【博客591】LVS的DR和NAT模式下要注意的缺陷

LVS的DR和NAT模式下要注意的缺陷

1、DR模式和NAT模式的转发原理

2、LVS的DR和NAT模式下要注意的缺陷

缺陷1：DR模式下的realserver和 lvs的vip提供服务的端口必须一致。

例如vip的端口对外端口为 80，但后端服务的真实端口为8080，通过lvs的DR模式是实现不了的。

原因： 因为LVS的DR模式，改写的就是数据包的目的MAC地址，并不会对数据报文IP和端口地址层修改，所以就作不到端口改写了。

陷阱2：DR模式下，realserver和lvs不能在同一台机器上

原因： 假设lvs主服务器上的数据包发送给自己备份节点（也是realserver） eth0 接口。备lvs不能正常的被监听指定端口的程序所接收，因为数据包会首先先经过 ip_vs()来接受处理了.
不仅如此，备份节点还会将50％的机率将数据包转发给lvs主，这样一直主和备一直转发，就形成死循环了。所以客户端会发现，一次正常能请求，一次会出现超时的情况。

正确做法： realserver 和lvs需要在同一个vlan或者局域网下

陷阱3：DR模式下，Realserver 和LVS需要在同一个vlan或者局域网下？

原因： lvs改写的是mac地址的，基于mac地址的通讯方式是2层的，所以需要限制在一个vlan或者局域网下。

陷阱4：NAT模式下，NAT模式流量的入和出都需要通过lvs服务器

原因： NAT模式修改的目的端的IP地址，对公网的VIP，并不会下放到realserver上，所以后端的realserver的网关必须指向lvs地址。

陷阱5：NAT模式相比DR模式，性能和效率上会差一些

原因： NAT模式出入的数据包都需要通过lvs，必然导致数量大了后，成为性能瓶颈。

陷阱6：在DR模式下的ARP广播问题

在DR模式下时，会存在一个问题，所有的realserver和director都配置了VIP，从网络模型中，我们知道，最终传输的是mac地址，那么这个时候，到底谁的mac地址是准确的呢？ 我们要保证请求的VIP必须是director，这样我们的负载均衡才是生效的，因此要在realserver上进行ARP抑制配置，禁止它处理外部的arp请求，也不允许自己向外部广播ARP数据

## 忽略收到的ARP请求
## lo接口不对外广播ARP数据
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore            
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce          
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce


arp_ignore: 定义接收到ARP请求时的相应级别
   0 -- 只要本地配置有相应地址，就给予响应
   1 -- 仅回应目标IP地址为接收网卡本地地址的ARP请求
   2 -- 只响应目标IP地址为接收网卡本地地址的ARP请求，并且arp请求的源IP必须和接收网卡同网段
   4~7 -- 保留未使用
   8 -- 不回应所有ARP请求


arp_announce: 定义将自己的地址向外通告时的通告级别
   0 -- 将本地任何接口上的任何地址向外通告
   1 -- 试图仅向目标网络通告与其网络匹配的地址
   2 -- 仅向与本地接口上地址匹配的网络进行通告

陷阱7：配置Keepalived使用lvs时，主备 director都包含rs，此时会出现循环转发

解决方法： 经过 director1 的包，如果 mac address 不是 director2 的，用 iptables 给包打 mark=i。经过 director2 的包，如果 mac address 不是 director1 的，用 iptables 给包打 mark=j 。同时配置 LVS，不用三元组(ip,port,protocol)来表示 virtual_server，而用 fwmark-service，keepalived 配置 lvs 使用 fwmark-service。 这样，如果是 director 转发过来的包，就不会进入 LVS 进行负载（防止两个 director 互相扔皮球，进入死循环），而是被 RS 服务处理。而客户端进来的包，就会进入 LVS 进行负载。

iptables  -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac ! --mac-source $MAC_Director2 -j MARK --set-mark 0x3 
iptables  -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac ! --mac-source $MAC_Director1 -j MARK --set-mark 0x4


#keealived configuration
virtual_server fwmark 3  {  # node2 配置 fwmark 4
    delay_loop 10
    lb_algo rr
    lb_kind DR
    protocol TCP
  
    real_server RIP1 8080 {
    weight 1
    MISC_CHECK {
        # some check configuration
    }
    }
  
    real_server RIP2 8080 {
    weight 1
    MISC_CHECK {
        # some check configuration
        }
    }