lvs的术语:

     director/real server

     ip:

         vip: Virtual IP

         DIP:Diector IP

         RIP:Real Server IP

         CIP:Client IP

     ipvs: ip virtual server

    lvs的类型:

          lvs-nat  地址转换

          lvs-dr    直接路由

          lvs-tun   隧道


    nat类型特性:

    1、RS应使用私有地址,私有地址更安全。路由上也不会出现问题。RS的网关必须指向DIP:

    2 、DIP和RIP应该在同一个网段内。

    3、请求报文和相应报文都要经过Director:在高负载情况下,Director会成为性能瓶颈。

    4、支持端口映射

    5、RS可以使用任意OS


LVS-DR工作原理详解


http://os.51cto.com/art/201105/264303.htm

特性:

       1、保证前端路由将目标地址为VIP的报文统统发往Directory,而不是RS;

            解决方案:

          (1)静态地址绑定:在前端路由上操作

                   问题:未必有路由操作权限

            (2)arptables 

             (3)修改RS上内核参数,将RS的VIP配置在lo接口的别名上,并限制其不能相应对VIP地址解析请          求。

       2、RS可以使用私有地址;但也可以使用公网地址。此时可通过互联网通过RIP对其直接访问;

       3、RS跟Directory必须在同一物理网络中;

       4、所有请求报文经由Director,但响应报文不能经过Diector;

       5、不支持端口映射;

       6、RS可以是大多数常见的OS;

       7、RS的网关决不允许指向DIP;

tun类型的特性:

      1、RIP、VIP、DIP全部是公网地址;

      2、RS的网关不会也不可能指向DIP;

      3、所有请求报文经由Director,但响应报文不能经过Diector;

      4、不支持端口映射;

      5、RS的OS必须支持隧道功能;


  Fullnat: 

    lvs:服务器定义方式之防火墙标记

    -t tcp

    -u udp

    -f firewall mark 

    结合netfilter来实现一种集群服务定义机制:

    (1)在mangle表的PERROUTING  -d VIP -p {tcp|udp} --dport PORT -j MARK --set-mark #

      (2)   基于此前的标记定义集群服务:

       ipvsadm -A -f # [-s METHOD]

       ipvsadm -a -f # -r RS [option]

 功能:将同属于一组应用的多个不同端口的服务定义成一个集群服务。统一调度

比如:可以将后端的80 443端口统一放在一个集群做调度。

iptables -t mangle -R PREROUTING 1 -d 192.168.254.15 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10


LVS持久连接功能:

   无论使用什么调度方法,持久连接功能保证在指定一段时间内,来自同一个用户的请求始终定向至同个RS;其调度基准为集群服务:

   持久连接的类型:

   PCC:

          在基于tcp或udp定义集群服务时,其端口为0,格式为vip:0 表示将来自于用户请求的任何一种请求(无论请求指定协议的哪个端口)统统转给后端的RS:基于持久连接时,来自于同一个Clinet的所有请求统统被转发至同一个RS

ipvsadm -A -t 192.168.254.15:0 -s rr
Zero port specified for non-persistent service.(需要开启持久化功能)
ipvsadm -A  -t 192.168.254.15:0 -s rr -p (默认时间300秒)
ipvsadm -a -t 192.168.254.15:0 -r 10.0.0.2 -m
ipvsadm -a -t 192.168.254.15:0 -r 10.0.0.3 -m

  实验结果,来自同一clinet请求会统一转发至同一台RS(在一段时间内)不管用的是什么调度算法。

 

[email protected]'s password:
Last login: Tue Sep 20 22:17:45 2016
[root@node3 ~]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:4F:E5:A4
          inet addr:10.0.0.3  Bcast:10.255.255.255  Mask:255.0.0.0

发现:连接192.168.254.15的SSH请求也被调度到后端的一台RS上去了。


   PPC:

持久机制:单服务调度:各集群服务单独调度

ipvsadm -A -t 192.168.254.15:80 -s rr -p 3600
ipvsadm -a -t 192.168.254.15:80 -r 10.0.0.2 -m
ipvsadm -a -t 192.168.254.15:80 -r 10.0.0.3 -m
ipvsadm -A t 192.168.254.15:22 -s rr -p 3600
ipvsadm -a -t 192.168.254.15:22 -r 10.0.0.2 -m
ipvsadm -a -t 192.168.254.15:22 -r 10.0.0.3 -m

备注:可以将22和80作为集群,单独调度到同一台服务器上。但是22和80是分开的。有可能22端口调度到node2,80端口调度到node3。





   PFM

持久机制:单服务调度,可以通过防火墙标记将多个协议定义为同一个服务。


LVS-DR模型的问题总结:

1. LVS/DR如何处理请求报文的,会修改IP包内容吗?

1.1 vs/dr本身不会关心IP层以上的信息,即使是端口号也是tcp/ip协议栈去判断是否正确,vs/dr本身主要做这么几个事:

1)接收client的请求,根据你设定的负载均衡算法选取一台realserver的ip;

2)以选取的这个ip对应的mac地址作为目标mac,然后重新将IP包封装成帧转发给这台RS;

3)在hash table中记录连接信息。

vs/dr做的事情很少,也很简单,所以它的效率很高,不比硬件负载均衡设备差多少。

数据包、数据帧的大致流向是这样的:client --> VS --> RS --> client

1.2 前面已作了回答,vs/dr不会修改IP包的内容.

2. RealServer为什么要在lo接口上配置VIP?在出口网卡上配置VIP可以吗?

2.1 既然要让RS能够处理目标地址为vip的IP包,首先必须要让RS能接收到这个包。

在lo上配置vip能够完成接收包并将结果返回client。

2.2 答案是不可以将VIP设置在出口网卡上,否则会响应客户端的arp request,造成client/gateway arp table紊乱,以至于整个load balance都不能正常工作。

3. RealServer为什么要抑制arp帧?

这个问题在上一问题中已经作了说明,这里结合实施命令进一步阐述。我们在具体实施部署的时候都会作如下调整:

      echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

我相信很多人都不会弄懂它们的作用是什么,只知道一定得有。我这里也不打算拿出来详细讨论,只是作几点说明,就当是补充吧。

3.1

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

这两条是可以不用的,因为arp对逻辑接口没有意义。

3.2 如果你的RS的外部网络接口是eth0,那么

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

其实真正要执行的是:

echo "1" >/proc/sys/net/ipv4/conf/eth0/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/eth0/arp_announce

所以我个人建议把上面两条也加到你的脚本里去,因为万一系统里上面两条默认的值不是0,那有可能是会出问题滴。

4. LVS/DR load balancer(director)与RS为什么要在同一网段中?

从第一个问题中大家应该明白vs/dr是如何将请求转发给RS的了吧?它是在数据链路层来实现的,所以director必须和RS在同一网段里面。

5. 为什么director上eth0接口除了VIP另外还要配一个ip(即DIP)?

5.1 如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。

5.2 没有健康检查机制的HA或者Load Balance则没有存在的实际意义。

6. LVS/DR ip_forward需要开启吗?

不需要。因为director跟realserver是同一个网段,无需开启转发。

7. director的vip的netmask一定要是255.255.255.255吗?

lvs/dr里,director的vip的netmask 没必要设置为255.255.255.255,也不需要再去

route add -host $VIP dev eth0:0

director的vip本来就是要像正常的ip地址一样对外通告的,不要搞得这么特殊.

8. LVS/DR如何进行tcp的三次握手?

应该不用再多说的,有兴趣单独交流吧。