LVS详解

一、负载均衡：必不可少的基础手段

1.1 找更多的牛来拉车吧

当前大多数的互联网系统都使用了服务器集群技术，集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等。

 

    古人有云：当一头牛拉不动车的时候，不要去寻找一头更强壮的牛，而是用两头牛来拉车。

 

        在实际应用中，在Web服务器集群之前总会有一台负载均衡服务器，负载均衡设备的任务就是作为Web服务器流量的入口，挑选最合适的一台Web服务器，将客户端的请求转发给它处理，实现客户端到真实服务端的透明转发。最近几年很火的「云计算」以及分布式架构，本质上也是将后端服务器作为计算资源、存储资源，由某台管理服务器封装成一个服务对外提供，客户端不需要关心真正提供服务的是哪台机器，在它看来，就好像它面对的是一台拥有近乎无限能力的服务器，而本质上，真正提供服务的，是后端的集群。

1.2 负载均衡的类型

负载均衡可以采用硬件设备（例如常常听见的F5），也可以采用软件负载。

商用硬件负载设备成本通常较高（一台几十万上百万很正常），所以在条件允许的情况下我们会采用软件负载；

软件负载解决的两个核心问题是：选谁、转发，其中最著名的是LVS（Linux Virtual Server）。

二、初识LVS：Linux Virtual Server

2.1 LVS是神马东西

    LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

2.2 LVS有神马作用

      LVS主要用于服务器集群的负载均衡。它工作在网络层，可以实现高性能，高可用的服务器集群技术。它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。它易用，配置非常简单，且有多种负载均衡的方法。它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。另外可扩展性也非常好。

LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

2.3 LVS的体系结构

使用LVS架设的服务器集群系统有三个部分组成：

（1）最前端的负载均衡层，用Load Balancer表示；

（2）中间的服务器集群层，用Server Array表示；

（3）最底端的数据共享存储层，用Shared Storage表示；

在用户看来，所有的内部应用都是透明的，用户只是在使用一个虚拟服务器提供的高性能服务。

2.4 LVS负载均衡机制

（1）LVS是四层负载均衡，也就是说建立在OSI模型的第四层——传输层之上，传输层上有我们熟悉的TCP/UDP，LVS支持TCP/UDP的负载均衡。因为LVS是四层负载均衡，因此它相对于其它高层负载均衡的解决办法，比如DNS域名轮流解析、应用层负载的调度、客户端的调度等，它的效率是非常高的。

（2）LVS的转发主要通过修改IP地址（NAT模式，分为源地址修改SNAT和目标地址修改DNAT）、修改目标MAC（DR模式）来实现。

LVS调度算法

既然是负载均衡，那么后端肯定不止一台服务器，怎么去调度？LVS提供了下面的调度算法

静态调度

1. rr (Round Robin): 轮询
2. wrr (weight)：加权
3. sh(source hashing): 源地址散列
4. dh(Destination Hashing): 目标地址散列

动态调度

1. lc (Least-Connection): 最少连接
2. wlc (Weighted Least-Connection): 加权最少连接
3. sed (Shortest Expected Delay): 最短期望延迟
4. nq (never queue): 永不排队
5. LBLC (Locality-Based Least Connection): 基于本地的最少连接
6. LBLCR (Locality-Based Least Connections withReplication): 基于本地的带复制功能的最少连接

 三、三种工作模式的解析

名词定义：

• CIP : Client IP 客户端的IP
• VIP : Virtual IP LVS 实例IP，一般是暴露在公网中的地址；向外部直接面向用户请求，作为用户请求的目标的IP地址
• DIP : Director IP，主要用于和内部主机通讯的IP地址
• RIP : Real IP 后端服务器的真实IP
• DS : Director Server 指的是前端负载均衡器节点
• RS : Real Server 后端真实的工作服务器

NAT模式：网络地址转换

 

NAT（Network Address Translation）是一种外网和内网地址映射的技术。NAT模式下，网络数据报的进出都要经过LVS的处理。LVS需要作为RS（真实服务器）的网关。当包到达LVS时，LVS做目标地址转换（DNAT），将目标IP改为RS的IP。RS接收到包以后，仿佛是客户端直接发给它的一样。RS处理完，返回响应时，源IP是RS IP，目标IP是客户端的IP。这时RS的包通过网关（LVS）中转，LVS会做源地址转换（SNAT），将包的源地址改为VIP，这样，这个包对客户端看起来就仿佛是LVS直接返回给它的。客户端无法感知到后端RS的存在。

 

图中黄色数据包是从客户端到LVS集群的，绿色数据包是从LVS集群到客户端的，大概过程如下：

1. 数据包CIP->VIP，如果直接将数据包塞给RS（真实服务器），RS会丢弃，因此LVS修改目标地址VIP为RIP（D-NAT），此时数据包变成CIP->RIP发给RS
2. RS处理完成后发送数据包RIP->CIP，这个数据包直接塞给客户端，客户端是不会收的，因为客户端是发给VIP的，但是回来就变成RIP给客户端的了，客户端也会丢弃，因此LVS修改源地址为VIP（S-NAT），此时数据包变成VIP->CIP发给客户端

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP(客户端IP),后面统称为CIP)，目标地址为VIP(负载均衡器前端地址，后面统称为VIP)。

②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将客户端请求报文的目标地址改为了后端服务器的RIP地址并将报文根据算法发送出去。

③.报文送到Real Server后，由于报文的目标地址是自己，所以会响应该请求，并将响应报文返还给LVS。

④.然后lvs将此报文的源地址修改为本机并发送给客户端。

注意在NAT模式中，Real Server的网关必须指向LVS，否则报文无法送达客户端

整个过程保证一个原则：怎么来的就怎么回去，按照Socket四元组IP反向发回去！比如就客户端和LVS而言发来的是CIP->VIP，发回去就得是VIP->CIP，LVS和RS之间也是同样的道理

特点

• RS应该使用私有地址，DIP和RIP必须在同一个网段内，RS的网关必须指向DIP（因为最终给CIP的数据包要扔回给LVS）
• 请求和响应报文都需要经过Director Server，高负载场景中，LVS易成为性能瓶颈
• 支持端口映射
• RS可以使用任意操作系统

缺陷

• 对LVS压力会比较大，请求和响应都需经过LVS（一般来说流量是非对称/倾斜的，请求报文小，响应报文大）
• 不断得进行网络地址转换，消耗算力

既然响应报文太大，有没有办法让响应报文直接返回给CIP，不经过LVS？当然有，这就是DR模式

DR模式：直接路由

     DR负载均衡模式数据分发过程中不修改IP地址，只修改mac地址，由于实际处理请求的真实物理IP地址和数据请求目的IP地址一致，所以不需要通过负载均衡服务器进行地址转换，可将响应数据包直接返回给用户浏览器，避免负载均衡服务器网卡带宽成为瓶颈。因此，DR模式具有较好的性能，也是目前大型网站使用最广泛的一种负载均衡手段。
 

数据包流向依然是黄色是去向的，绿色是回向的；RS有一个对内可见，对外隐藏的VIP

1. 数据包CIP->VIP发送给LVS
2. LVS通过修改MAC地址把数据包直接扔给RS，由于RS也有VIP，所以收下数据包
3. RS处理完成后，直接封数据包VIP->CIP，返回给客户端，不经过LVS

1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将客户端请求报文的源MAC地址改为自己DIP的MAC地址，目标MAC改为了RIP的MAC地址，并将此包发送给RS。

3.RS发现请求报文中的目的MAC是自己，就会将次报文接收下来，处理完请求报文后，将响应报文通过lo接口送给eth0网卡直接发送给客户端。

特征

• 保证前端路由将目标地址为VIP报文统统发给LVS，而不是RS（因为RS的VIP是隐藏的）
• RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问
• RS跟LVS必须在同一个物理网络中（因为MAC地址欺骗/ARP欺骗就只能发生在局域网中）
• 所有的请求报文经由LVS，但响应报文必须不能经过LVS
• 不支持地址转换，也不支持端口映射（因为这是链路层/2层的处理，不涉及到IP）
• RS可以是大多数常见的操作系统
• RS的网关绝不允许指向DIP(因为我们不允许他经过LVS)
• RS上的lo接口配置VIP的IP地址（对外隐藏，对内可见

缺陷

   R S和LVS必须在同一机房中，很显然，ARP欺骗条件要求LVS和DS要在同一个物理局域网内，那有没有不需要再同一个局域网内的？但是是有，那就是隧道模式

TUN模式：隧道模式

 

 

所谓隧道，最简单的理解就是数据包套数据包，一个数据包背上另一个数据包，到了目的地再放下来，整个流程如下：

1. 数据包CIP->VIP发送给LVS
2. LVS在源数据包外面套一层形成[DIP->RIP[CIP->VIP]]，通过DIP->RIP将数据包发送给RS（DIP和RIP可以是不同的物理网络）
3. RS拆包接收到CIP->VIP的请求处理完成之后直接封数据包VIP->CIP，返回给客户端，不经过LVS

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

③.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。

特征

• RIP、VIP、DIP全是公网地址
• RS的网关不会也不可能指向DIP
• 所有的请求报文经由LVS，但响应报文必须不能进过LVS
• 不支持端口映射
• RS的系统必须支持隧道

总结

其实企业中最常用的是DR实现方式，而NAT配置上比较简单和方便，TUN模式则是综合了DR和NAT的优点