lvs的术语:
director/real server
ip:
vip: Virtual IP
DIP:Diector IP
RIP:Real Server IP
CIP:Client IP
ipvs: ip virtual server
lvs的类型:
lvs-nat 地址转换
lvs-dr 直接路由
lvs-tun 隧道
nat类型特性:
1、RS应使用私有地址,私有地址更安全。路由上也不会出现问题。RS的网关必须指向DIP:
2 、DIP和RIP应该在同一个网段内。
3、请求报文和相应报文都要经过Director:在高负载情况下,Director会成为性能瓶颈。
4、支持端口映射
5、RS可以使用任意OS
LVS-DR工作原理详解
http://os.51cto.com/art/201105/264303.htm
特性:
1、保证前端路由将目标地址为VIP的报文统统发往Directory,而不是RS;
解决方案:
(1)静态地址绑定:在前端路由上操作
问题:未必有路由操作权限
(2)arptables
(3)修改RS上内核参数,将RS的VIP配置在lo接口的别名上,并限制其不能相应对VIP地址解析请 求。
2、RS可以使用私有地址;但也可以使用公网地址。此时可通过互联网通过RIP对其直接访问;
3、RS跟Directory必须在同一物理网络中;
4、所有请求报文经由Director,但响应报文不能经过Diector;
5、不支持端口映射;
6、RS可以是大多数常见的OS;
7、RS的网关决不允许指向DIP;
tun类型的特性:
1、RIP、VIP、DIP全部是公网地址;
2、RS的网关不会也不可能指向DIP;
3、所有请求报文经由Director,但响应报文不能经过Diector;
4、不支持端口映射;
5、RS的OS必须支持隧道功能;
Fullnat:
lvs:服务器定义方式之防火墙标记
-t tcp
-u udp
-f firewall mark
结合netfilter来实现一种集群服务定义机制:
(1)在mangle表的PERROUTING -d VIP -p {tcp|udp} --dport PORT -j MARK --set-mark #
(2) 基于此前的标记定义集群服务:
ipvsadm -A -f # [-s METHOD]
ipvsadm -a -f # -r RS [option]
功能:将同属于一组应用的多个不同端口的服务定义成一个集群服务。统一调度
比如:可以将后端的80 443端口统一放在一个集群做调度。
iptables -t mangle -R PREROUTING 1 -d 192.168.254.15 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10
LVS持久连接功能:
无论使用什么调度方法,持久连接功能保证在指定一段时间内,来自同一个用户的请求始终定向至同个RS;其调度基准为集群服务:
持久连接的类型:
PCC:
在基于tcp或udp定义集群服务时,其端口为0,格式为vip:0 表示将来自于用户请求的任何一种请求(无论请求指定协议的哪个端口)统统转给后端的RS:基于持久连接时,来自于同一个Clinet的所有请求统统被转发至同一个RS
ipvsadm -A -t 192.168.254.15:0 -s rr Zero port specified for non-persistent service.(需要开启持久化功能) ipvsadm -A -t 192.168.254.15:0 -s rr -p (默认时间300秒) ipvsadm -a -t 192.168.254.15:0 -r 10.0.0.2 -m ipvsadm -a -t 192.168.254.15:0 -r 10.0.0.3 -m
实验结果,来自同一clinet请求会统一转发至同一台RS(在一段时间内)不管用的是什么调度算法。
[email protected]'s password: Last login: Tue Sep 20 22:17:45 2016 [root@node3 ~]# ifconfig eth1 Link encap:Ethernet HWaddr 00:0C:29:4F:E5:A4 inet addr:10.0.0.3 Bcast:10.255.255.255 Mask:255.0.0.0
发现:连接192.168.254.15的SSH请求也被调度到后端的一台RS上去了。
PPC:
持久机制:单服务调度:各集群服务单独调度
ipvsadm -A -t 192.168.254.15:80 -s rr -p 3600 ipvsadm -a -t 192.168.254.15:80 -r 10.0.0.2 -m ipvsadm -a -t 192.168.254.15:80 -r 10.0.0.3 -m ipvsadm -A t 192.168.254.15:22 -s rr -p 3600 ipvsadm -a -t 192.168.254.15:22 -r 10.0.0.2 -m ipvsadm -a -t 192.168.254.15:22 -r 10.0.0.3 -m
备注:可以将22和80作为集群,单独调度到同一台服务器上。但是22和80是分开的。有可能22端口调度到node2,80端口调度到node3。
PFM
持久机制:单服务调度,可以通过防火墙标记将多个协议定义为同一个服务。
LVS-DR模型的问题总结:
1. LVS/DR如何处理请求报文的,会修改IP包内容吗?
1.1 vs/dr本身不会关心IP层以上的信息,即使是端口号也是tcp/ip协议栈去判断是否正确,vs/dr本身主要做这么几个事:
1)接收client的请求,根据你设定的负载均衡算法选取一台realserver的ip;
2)以选取的这个ip对应的mac地址作为目标mac,然后重新将IP包封装成帧转发给这台RS;
3)在hash table中记录连接信息。
vs/dr做的事情很少,也很简单,所以它的效率很高,不比硬件负载均衡设备差多少。
数据包、数据帧的大致流向是这样的:client --> VS --> RS --> client
1.2 前面已作了回答,vs/dr不会修改IP包的内容.
2. RealServer为什么要在lo接口上配置VIP?在出口网卡上配置VIP可以吗?
2.1 既然要让RS能够处理目标地址为vip的IP包,首先必须要让RS能接收到这个包。
在lo上配置vip能够完成接收包并将结果返回client。
2.2 答案是不可以将VIP设置在出口网卡上,否则会响应客户端的arp request,造成client/gateway arp table紊乱,以至于整个load balance都不能正常工作。
3. RealServer为什么要抑制arp帧?
这个问题在上一问题中已经作了说明,这里结合实施命令进一步阐述。我们在具体实施部署的时候都会作如下调整:
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
我相信很多人都不会弄懂它们的作用是什么,只知道一定得有。我这里也不打算拿出来详细讨论,只是作几点说明,就当是补充吧。
3.1
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
这两条是可以不用的,因为arp对逻辑接口没有意义。
3.2 如果你的RS的外部网络接口是eth0,那么
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
其实真正要执行的是:
echo "1" >/proc/sys/net/ipv4/conf/eth0/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/eth0/arp_announce
所以我个人建议把上面两条也加到你的脚本里去,因为万一系统里上面两条默认的值不是0,那有可能是会出问题滴。
4. LVS/DR load balancer(director)与RS为什么要在同一网段中?
从第一个问题中大家应该明白vs/dr是如何将请求转发给RS的了吧?它是在数据链路层来实现的,所以director必须和RS在同一网段里面。
5. 为什么director上eth0接口除了VIP另外还要配一个ip(即DIP)?
5.1 如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。
5.2 没有健康检查机制的HA或者Load Balance则没有存在的实际意义。
6. LVS/DR ip_forward需要开启吗?
不需要。因为director跟realserver是同一个网段,无需开启转发。
7. director的vip的netmask一定要是255.255.255.255吗?
lvs/dr里,director的vip的netmask 没必要设置为255.255.255.255,也不需要再去
route add -host $VIP dev eth0:0
director的vip本来就是要像正常的ip地址一样对外通告的,不要搞得这么特殊.
8. LVS/DR如何进行tcp的三次握手?
应该不用再多说的,有兴趣单独交流吧。