ipvs负载均衡（三）ipvs三种工作方式

IPVS负载均衡（三）IPVS三种工作方式之NAT模式

IPVS是LVS（Linux Virtual Server）项目重要组成部分，目前包含于官方Linux Kernel，IPVS依赖于netfilter框架，位于内核源码的net/netfilter/ipvs目录下

一、三种工作模式简介

1. NAT工作模式，简单来说就是传统的NAT，进出流量都需要经过调度器，调度器会选择一个目的服务器，将进入流量的目标IP改写为负载均衡到的目标服务器，同时源IP地址也会改为调度器IP地址。机制简单，但限制大，IPVS需要维护每个映射关系，而且进出入流量都需要经过调度器，实际上这个会成为瓶颈。
2. TUN工作模式，即IP Tunneling模式。这种模式中，调度器将进入的包重新包成一个IP包，然后发送给选定的目的服务器，目的服务器处理后，直接将应答发送给客户（当然该重新封装的报文的源IP地址还是要填成调度器的）。
3. DR工作模式，即Direct Routing模式。这种模式中，调度器直接重写进入包的mac地址，将其改为选定的目标服务器的mac地址，这样就可以到达服务器。但这样的话需要要求IPVS服务器需要和真实服务器在同一局域网内，且真实服务器必须有真实网卡（这样重写了mac地址的报文才可以才可以到达该服务器）

下面将详细描述三种IP负载均衡技术VS/NAT、VS/TUN和VS/DR的工作原理，以及它们的优缺点。
以下三种模式主要转自zhangweisong博客

二、LVS/NAT

由于IPv4中IP地址空间的日益紧张和安全方面的原因，很多网络使用保留IP地址（10.0.0.0/255.0.0.0、172.16.0.0/255.128.0.0和192.168.0.0/255.255.0.0）[64, 65, 66]。这些地址不在Internet上使用，而是专门为内部网络预留的。当内部网络中的主机要访问Internet或被Internet访问时，就需要采用网络地址转换（Network Address Translation, 以下简称NAT），将内部地址转化为Internets上可用的外部地址。NAT的工作原理是报文头（目标地址、源地址和端口等）被正确改写后，客户相信它们连接一个IP地址，而不同IP地址的服务器组也认为它们是与客户直接相连的。由此，可以用NAT方法将不同IP地址的并行网络服务变成在一个IP地址上的一个虚拟服务。

VS/NAT的体系结构如下图所示。在一组服务器前有一个调度器，它们是通过Switch/HUB相连接的（意思就是说真实服务器可以和IPVS负载均衡器不处于同一个子网）。这些服务器提供相同的网络服务、相同的内容，即不管请求被发送到哪一台服务器，执行结果是一样的。服务的内容可以复制到每台服务器的本地硬盘上，可以通过网络文件系统（如NFS）共享，也可以通过一个分布式文件系统来提供。

1、用户报文到达IPVS负载均衡器

1. 用户通过Virtual IP Address（虚拟服务的IP地址）访问网络服务时，请求报文到达IPVS
2. IPVS根据连接调度算法从一组真实服务器中选出一台服务器
3. IPVS将报文的目标地址Virtual IP Address改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将修改后的报文发送给选出的服务器。
4. 同时，IPVS在连接Hash表中记录这个连接，当这个连接的下一个报文到达时，从连接Hash表中可以得到原选定服务器的地址和端口，进行同样的改写操作，并将报文传给原选定的服务器。

2、真实服务器返回的响应报文到达IPVS负载均衡器

1. 当来自真实服务器的响应报文经过调度器时，IPVS负载均衡器会先查询hash连接表，查询相应连接信息
2. 调度器将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户

3、连接的状态机

IPVS负载均衡器连接上引入一个状态机，不同的报文会使得连接处于不同的状态，不同的状态有不同的超时值。

1. 在TCP连接中，根据标准的TCP有限状态机进行状态迁移，成功的连接在ipvsadm中查看都是ActiveCon，不同状态的超时值是可以设置的，在缺省情况下，SYN状态的超时为1分钟，ESTABLISHED状态的超时为15分钟，FIN状态的超时为1分钟
2. 在UDP中，我们只设置一个UDP状态，连接通过ipvsadm查看一律显示结果为InActiveConn，UDP状态的超时为5分钟
3. 当连接终止或超时，调度器将这个连接从连接Hash表中删除。

这样，客户所看到的只是在Virtual IP Address上提供的服务，而服务器集群的结构对用户是透明的。对改写后的报文，应用增量调整Checksum的算法调整TCP Checksum的值，避免了扫描整个报文来计算Checksum的开销。

在一些网络服务中，它们将IP地址或者端口号在报文的数据中传送，若我们只对报文头的IP地址和端口号作转换，这样就会出现不一致性，服务会中断。所以，针对这些服务，需要编写相应的应用模块来转换报文数据中的IP地址或者端口号。*不过说实在的，这句话，我在工作中并没有遇到，所以只是粗略看了代码，并没有具体解读该处作用，而且现在协议就是TCP/UDP/SCTP……嘛反正这里不懂，我这里不多说。*

三、具体事例

举个例子来进一步说明LVS/NAT

VS/NAT的配置如下表所示，所有到IP地址为202.103.106.5和端口为80的流量都被负载均衡地调度的真实服务器172.16.0.2:80和172.16.0.3:8000上。目标地址为202.103.106.5:21的报文被转移到172.16.0.3:21上。而到其他端口的报文将被拒绝。

Protocol	Virtual IP Address	Port	Real IP Address	Port	Weight
TCP	202.103.106.5	80	172.16.0.2	80	1
TCP	202.103.106.5	80	172.16.0.3	8000	2
TCP	202.103.106.5	21	172.16.0.3	21	1

从以下的例子中，我们可以更详细地了解报文改写的流程。

1. 访问集群报文可能有以下的源地址和目标地址：

SOURCE	DEST
202.100.1.2:3456	202.103.106.5:80

2. IPVS负载均衡器从调度列表中选出一台服务器，例如是172.16.0.3:8000。该报文会被改写为如下地址，并将它发送给选出的服务器。

SOURCE	DEST
202.100.1.2:3456	172.16.0.3:8000

3. 从服务器返回到IPVS的响应报文如下：

SOURCE	DEST
172.16.0.3:8000	202.100.1.2:3456

4. 响应报文的源地址会被改写为虚拟服务的地址，目标地址改写为客户端地址，再将报文发送给客户端：

SOURCE	DEST
202.103.106.5:80	202.100.1.2:3456

这样，客户端认为是从202.103.106.5:80服务得到正确的响应，而不会知道该请求是服务器172.16.0.2还是服务器172.16.0.3处理的。