LVS 负载均衡之NAT模式 原理与实践

 

LVS负载均衡工作原理


实现LVS负载均衡转发方式有三种,分别为NAT、DR、TUN模式,LVS均衡算法包括:RR(round-robin)、LC(least_connection)、W(weight)RR、WLC模式等(RR为轮询模式,LC为最少连接模式)。

 

LVS/NAT


重点理解NAT方式的实现原理和数据包的改变。

用户请求LVS VIP到达director(LVS服务器:LB),director(LVS服务器)将请求的报文(因为用户的请求有一个请求报文,也就是请求包里面,请求包里面有一个目标IP地址)的目标IP地址(目标IP地址是LVS的VIP)改成后端的realserver IP地址(因为LVS不能像nginx提供静态资源解析,所以LVS要串改报文当中的目标IP,改为后端随机一台nginx的IP),同时将报文的目标端口也改成后端选定的realserver相应端口,最后将报文发送到realserver,realserver将数据返给director,director再把数据发送给用户。(两次请求都经过director,所以访问大的话,director会成为瓶颈)。 

LVS 负载均衡之NAT模式 原理与实践_第1张图片

 (1) 当用户请求到达Director Server,此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP,目标IP为VIP
(2) PREROUTING检查发现数据包的目标IP是本机,将数据包送至INPUT链
(3) IPVS比对数据包请求的服务是否为集群服务,若是,修改数据包的目标IP地址为后端服务器IP,然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP,目标IP为RIP
(4) POSTROUTING链通过选路,将数据包发送给Real Server
(5) Real Server比对发现目标为自己的IP,开始构建响应报文发回给Director Server。 此时报文的源IP为RIP,目标IP为CIP
(6) Director Server在响应客户端前,此时会将源IP地址修改为自己的VIP地址,然后响应给客户端。 此时报文的源IP为VIP,目标IP为CIP

LVS/NAT模型的特性
  • RS应该使用私有地址,RS的网关必须指向DIP
  • DIP和RIP必须在同一个网段内
  • 请求和响应报文都需要经过Director Server,高负载场景中,Director Server易成为性能瓶颈
  • 支持端口映射
  • RS可以使用任意操作系统
  • 缺陷:对Director Server压力会比较大,请求和响应都需经过director server

NAT(Network Address Translation 网络地址转换)是一种外网和内外地址映射的技术,内网可以是私有网址,外网可以使用NAT方法修改数据报头,让外网与内网能够互相通信。NAT模式下,网络数据报的进出都要经过LVS的处理。LVS需作为RS(真实服务器)的网关。当包到达LVS时,LVS做目标地址转换(DNAT),将目标IP改为RS的IP。RS接收到包以后,仿佛是客户端直接发给它的一样。RS处理完,返回响应时,源IP是RS IP,目标IP是客户端的IP。这时RS的包通过网(LVS)中转,LVS会做源地址转换(SNAT),将包的源地址改为VIP,这样,这个包对客户端看起来就仿佛是LVS直接返回给它的。客户端无法感知到后端RS的存在。

(1)RIP和DIP必须在同一个IP网络,且应该使用私网地址;RS的网关要指向DIP;
(2)请求报文和响应报文都必须经由Director转发;Director易于成为系统瓶颈;
(3)支持端口映射,可修改请求报文的目标PORT;
(4)vs必须是Linux系统,rs可以是任意系统;

缺点:在整个过程中,所有输入输出的流量都要经过LVS 调度服务器。显然,LVS 调度服务器的网络I/O压力将会非常大,因此很容易成为瓶颈,特别是对于请求流量很小,而响应流量很大的Web类应用来说尤为如此。

优点:NAT模式的优点在于配置及管理简单,由于了使用NAT技术,LVS 调度器及应用服务器可以在不同网段中,网络架构更灵活,应用服务器只需要进行简单的网络设定即可加入集群。

 

LVS NAT模式实战


环境如下,系统为Centos7.X 

Server1

192.168.179.102

LVS

Server2

192.168.179.103

Server1 Nginx

Server3

192.168.179.104

Server2 Nginx

LVS:192.168.179.102 :安装ipvsadm软件包通过命令ipvsadm来管理ip_vs模块

[root@localhost ~]# yum install ipvsadm -y  #通过ipvsadm来管理ip_vs模块
[root@localhost ~]# lsmod | grep -i ip_vs
[root@localhost ~]# modprobe ip_vs   #加载ip_vs模块,如果不加载就实现不了负载均衡了
[root@localhost ~]# lsmod | grep -i ip_vs
ip_vs                 141092  0 
nf_conntrack          133387  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

LVS上配置网卡:内网网卡:ens32: 192.168.179.102(和后端Nginx在一个网段)   外网网卡:ens34:172.20.2.120(提供VIP服务)

[root@localhost ~]# ip a
2: ens32:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:0e:1a:bf brd ff:ff:ff:ff:ff:ff
    inet 192.168.179.102/24 brd 192.168.179.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::2d42:a0b1:1cdc:74c0/64 scope link 
       valid_lft forever preferred_lft forever
3: ens34:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:0e:1a:c9 brd ff:ff:ff:ff:ff:ff
    inet 172.20.2.120/24 brd 172.20.2.255 scope global dynamic ens34
       valid_lft 6238sec preferred_lft 6238sec
    inet6 fe80::1047:3c34:2b9f:50e8/64 scope link 
       valid_lft forever preferred_lft forever

LVS 负载均衡之NAT模式 原理与实践_第2张图片

LVS配置路由转发功能(实现负载均衡)

#ipvsadm  -A 代表添加VIP -t代表TCP协议 -s指定算法 rr轮询模式
[root@localhost ~]# ipvsadm -A -t 172.20.2.120:80 -s rr
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr

#-a表示在VIP集群当中添加后端服务器真实IP  -r表示real server  -m表示NAT 模式 -g表示DR模式 -w表示权重(在虚拟集群172.20.2.120:80中,加入后端Realserver服务器192.168.179.103:80)
[root@localhost ~]# ipvsadm -a -t 172.20.2.120:80 -r 192.168.179.103:80 -m -w 100
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          0 

-a,往虚拟服务器集群中添加真实服务器;
-t,TCP协议;
-r,指定后端realserver服务器的IP和端口;
-m,指定NAT转发模式;
-w,weight权重设置;

#该文件内容为0,表示禁止数据包转发,1表示允许,将其修改为1。(LVS NAT模式能够实现数据转发,还要依靠Linux内核开启转发功能,所以需要如下设置)
[root@localhost ~]# cat /proc/sys/net/ipv4/ip_forward
0
[root@localhost ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@localhost ~]# cat /proc/sys/net/ipv4/ip_forward
1
#修改网关地址即下一跳地址为LVS内网网卡的地址(192.168.179.103 Realserver服务器的网关设置为LVS服务器的内网网卡IP地址192.168.179.102)
[root@real-server1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32 
GATEWAY=192.168.179.102
[root@real-server1 ~]# systemctl restart network

[root@real-server1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.179.102 0.0.0.0         UG    100    0        0 ens32

LVS 负载均衡之NAT模式 原理与实践_第3张图片

#查看LVS NAT模式集群配置信息,下所示:
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          2  

Forward: 转发方式,当前是路由转发
Weight: 权重
ActiveConn: 当前活跃的连接数
InActConn: 当前不活跃的连接数

如果需要中途加入一台Nginx,比如192.168.179.104这台Nginx,操作如下,和上面方法一样

#LVS 192.168.179.102上
[root@localhost ~]# ipvsadm -a -t 172.20.2.120:80 -r 192.168.179.104:80 -m -w 100
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          0         
  -> 192.168.179.104:80           Masq    100    0          0         



#Nginx 192.168.179.104
[root@real-server2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32 
GATEWAY=192.168.179.102
[root@real-server2 ~]# systemctl restart network
[root@real-server2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.179.102 0.0.0.0         UG    100    0        0 ens32
192.168.179.0   0.0.0.0         255.255.255.0   U     100    0        0 ens32

LVS 负载均衡之NAT模式 原理与实践_第4张图片

未结合Keepalived实现对后端节点进行健康检查

[root@real-server1 ~]# pkill nginx

#如果你将后端一台Nginx下线了,LVS并不会对后端的real server做健康检查,可以看到需要配合keepalived来使用
[root@localhost ~]# tail -f /var/log/messages
#列表当中的192.168.179.104节点并未踢出后端的real server集群
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          3         
  -> 192.168.179.104:80           Masq    100    1          29  
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          1         
  -> 192.168.179.104:80           Masq    100    0          1   

 

你可能感兴趣的:(LVS,lvs)