LVS NAT/TUN/DR三种模式

#########集群

一、集群
集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。集群是一组相互独立的、通过高速网络互联的计算机，他们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。集群的主要优点：高可扩展性，高可用性，高性能，高性价比。
二、集群类型
1 scale on：向上扩展
将服务器的内存容量调大和cpu数量增加些（升级服务器硬件）
缺点：在一定的范围之内它的性能是上升的趋势，但是超出范围之后就是下降的趋势。因为随着它的cpu的个数增加我们需要给我们的cpu仲裁，而且随着cpu个数的增加，资源竞争性增大。
2 scale out：向外扩展
一台服务器应付不过来，我们就增加一台服务器。
优点：增减服务器很方便，而且没有向上扩展随着增加性能下降。
向上扩张的工作模式：当客户端向服务器端发送请求时，服务器根据一定的算法选择一台来响应客户的请求。
LB：Load Balance：负载均衡集群
负载均衡集群中有一个分发器或者叫作调度器，我们将其称为Director，它处在多台服务器的上面，分发器根据内部锁定义的规则或者调度方式从下面的服务集群中选择一台来响应客户端发来的请求。负载均衡是对后端服务器的均衡。
HA：High Availability 高可用集群
高可用集群时服务的可用性比较高，当我们某台服务器死机后不会造成服务不可用。其工作模式则是将一个具有故障的服务器的服务转交给一个正常工作的服务器，从而达到服务不会中断。一般来说我们集群中工作在前端（分发器）的服务器都会对我们的后端服务器做一个健康检查，如果发现我们服务器down机就不会对其再做转发。高可用是对服务器做备用机。
衡量标准：可用性=在线时间/（在线时间+故障处理时间）
99%， 99.9%， 99.99%，99.999%
HP：High Performance 高性能
高性能的集群是当某一任务量非常大的时候，我们做一个集群来共同完成这个任务。这种处理方式我们成为并行处理集群，并行处理集群是将大任务划分为小任务，分别进行处理。一般这样的集群用来科学研究与大数据运算等方面的工作。现在比较火的Hadoop就是使用的并行处理集群。
说明：三种集群之间区别：
负载均衡着重于提供服务并发处理能力的集群，是对后端服务器的均衡；高可用以提升服务在线的能力的集群，是对服务器做了备用机的机制；高性能着重于处理一个海量任务，是将一个任务分发给多个主机分别完成。

###########LVS简介

Internet的快速增长使多媒体网络服务器面对的访问量快速增长，服务器需要具备提供大量并发访问服务的能力，因此，对于大负载的服务起来讲，CPU，I/O处理能力很快成为瓶颈，由于单台服务器的性能总是有限的，简单的提高硬件性能并不能真正解决这个问题。为此必须采用多服务器和负载均衡技术才能满足大量并发访问的需求。linux虚拟服务器（LVS）使用负载均衡技术将多台服务器组成一台虚拟服务器。它为时应快速增长的网络访问需求提供了一个负载能力易于扩展，而价格低廉的解决方法。
LVS的结构及工作模式
一、LVS的结构
lvs是由目前工作在阿里巴巴的著名工程师章文嵩开发的一款开源软件。现在LVS已经是linux内核标准的一部分。
一般来说，LVS采用三层结构：负载调度器、服务器池、共享存储。工作在TCP/IP协议的四层，其转发是依赖于四层协议的特征进行转发的，由于其转发要依赖于协议的特征进行转发，因此需要在内核的TCP/IP协议栈进行过滤筛选。可想而知，这就需要在内核的模块来完成，而这样的过滤转发规则又是由管理员进行定义的。所以，LVS就是两段式的架构设计，在内核空间中工作的是“ipvs“，而在用户空间工作的，用来定义集群服务规则的是“ipvsadm“。
LVS集群采用三层结构，其主要组成部分为：
A、负载调度器（Load Balancer），它是前端机，负责转发客户的请求，而客户认为服务是来自同一个IP地址。
B、服务器池（Server Pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
C、共享存储（Shared Storage），它为服务器池提供一个共享的存储区，使服务器池拥有相同内容，提供相同服务。
LVS内核模型：

LVS共有三种模式，如下：
（1）NAT模式
优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。
不足：扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。
通过修改请求报文的目标IP地址（同时可能修改目标端口，支持端口映射），改为某Real Server的IP地址实现数据包的转发。

1）客户端将请求报文发往前端的负载均衡器，请求报文源地址为CIP目标地址为VIP
2）负载均衡器接受到报文，发现请求的是在ipvs规则里面存在的地址，那么它将客户端的请求报文的目标地址改为了后端服务器的RIP地址并将报文根据算法发送出去。
3）报文送到Real Server上，由于报文的目标地址是自己，所以会响应请求，并将响应报文返还给Director。
4）然后Director将此报文的源地址修改为本机ip并发送给客户端。
特点：
1）集群中各节点跟Directory必须在同一网段
2）DIP，RIP通常为私有地址，仅用于集群，且Real Server的网关要指向DIP
3）支持端口映射和转发
4）Real Server可以使用任意的OS
5）请求报文和响应报文都要经由Director，较大规模应用场景中Director可能成为系统瓶颈
（2）TUN模式
TUN 是IP Tunneling ，IP隧道的简称，它将调度器收到的IP数据包封装在一个新的IP数据包中，转交给应用服务器，然后实际服务器的返回数据会直接返回给用户。
我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。
这里是LVS/TUN模式在应用时的部署环境：

我们先假设百度用的是这种架构模型。
然后来模拟下用户访问百度的情况。
1.用户在浏览器输入http://www.baidu.com, 用户的电脑通过网络询问DNS，www.baidu.com域名的IP地址。
2.DNS服务器通过用户的地址，在服务器列表里选择一个可能是距离用户最近的LVS虚拟服务IP地址或者一个按照轮询策略的地址。
可以用ping www.baidu.com，能看到会返回一个IP地址，这个IP地址就是我们DNS返回给我们的地址。也可以用dig命令，能够看到www.baidu.com 实际对应了3个IP地址。
3.用户浏览器通过DNS获得的IP地址，访问LVS服务器。
4.进入LVS/TUN模式，LVS将数据包提供给APACHE或者nginx构建的反向代理服务器；
5.反向代理服务器最终将请求送给应用服务器；
6.应用服务器完成用户请求之后，通过反向代理服务器直接返回给用户，而不需要通过LVS服务器。
前提
不是所有的服务器都支持IP隧道，不过对一般的linux服务器操作系统而言，基本都支持ip tunneling协议。
如果看过我关于LVS/DR模式的介绍，发现这个流程本质上是一样的。
优点
TUN模式可以解决DR模式下不能跨网段的问题，甚至可以跨公网进行。
负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。
总结
对于大规模网站，单独使用LVS还是不够的，一般还是得配合nginx or apache做负载均衡。这个时候最简单的就是lvs+nginx/haproxy（nginx官方版本现在没有4层代理功能，haproxy对后端又不支持keepalive）,当然使用DR模式或者TUN模式也还可以的。基本都得用2层才能搞得定。其实对于访问量不是很大的公司，直接用nginx/haproxy/apache就OK了。搞的太复杂维护成本会比较高。

1）客户端将请求报文法网前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP
2）负载均衡器受到报文后，发现请求的是在IPVS规则中存在的地址和对应的端口，那么它将在客户端的请求报文的首部再封装一层IP报文，源地址为DIP，目标地址为RIP，并将此包发送给RS。
3）RS收到请求报文后，会首先拆开第一层封装，然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会再次处理请求报文，并将响应报文通过lo接口送往eth0网卡直接发送给客户端。
注意：需要设置lo接口上的VIP不能出现在公网上。
特点：
1）各集群节点可以跨越不同的网络
2）RIP，DIP，VIP必须是公网地址
3）DIrector只负责处理入站请求，响应报文由real server直接发往客户端
4）real server网关不能指向Director
5）real server仅能搭建在支持隧道功能的主机上
6）不支持端口映射
（3）DR模式
优点：和VS-TUN一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器，其中包括：Linux 2.0.36、2.2.9、2.2.10、2.2.12；Solaris 2.5.1、2.6、2.7；FreeBSD 3.1、3.2、3.3；NT4.0无需打补丁；IRIX 6.5；HPUX11等。
不足：要求负载均衡器的网卡必须与物理网卡在一个物理段上。

1）客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP
2）负载均衡器接收到报文后，发现请求的是在ipvs规则中存在的地址和端口，那么它将客户端请求报文的源MAC地址改为自己的MAC地址，目标MAC改为了Real Server的MAC地址，并将此包发送给Real Server
3）Real Server发现请求报文中的目标MAC地址是自己，就会把此报文接受下来，处理完请求报文后，将响应报文通过lo接口送给eth0网卡，直接发送给客户端。
注意：各real server的lo接口上配置的VIP不能响应外部请求。
特点：
1）集群节点跟Director必须在同一物理网络中
2）RIP可以使用公网地址，使用便捷的远程控制服务器
3）Direcotr只负责处理入站请求，响应报文由real server直接发往客户端
4）real server不能将网关指向DIP
5）Director不支持端口映射
6）real server支持应用在大多数OS
7）DR比NAT能处理更多的real server
VIP地址为调度器和服务器组共享,调度器配置的VIP地址是对外可见的,用于接收虚拟服务的请求报文;所有的服务器把VIP地址配置在各自的Non-ARP网络设备上,它对外面是不可见的,只是用于处理目标地址为VIP 的网络请求。
三种 IP 负载均衡技术的优缺点归纳在下表中: