使用LVS+Nginx实现负载均衡

1.LVS的简介

1.1 LVS是什么

LVS的英文全称是Linux Virtual Server，即Linux虚拟服务器，是一个虚拟的服务器集群系统。它是我们国家的章文嵩博士的一个开源项目，是中国国内最早出现的自由软件项目之一。

1.2 LVS的作用

一、LVS主要用于多服务器的负载均衡。

二、它工作在网络层，可以实现高性能，高可用的服务器集群技术。

三、它可把许多低性能的服务器组合在一起形成一个超级服务器。

四、它配置非常简单，且有多种负载均衡的方法。

五、它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。

六、可扩展性也非常好。

1.3 LVS和Nginx的对比

一、nginx工作在网络的应用层，主要做反向代理；lvs工作在网络层，主要做负载均衡。nginx也同样能承受很高负载且稳定，但负载度和稳定度不及lvs。 

二、nginx对网络的依赖较小，lvs就比较依赖于网络环境。

三、在使用上，一般最前端所采取的策略应是lvs。 nginx可作为lvs节点机器使用。

1.4 LVS的负载均衡机制

前面我们说了LVS是工作在网络层。相对于其它负载均衡的解决办法，它的效率是非常高的。LVS的通过控制IP来实现负载均衡。IPVS是其具体的实现模块。IPVS的主要作用：安装在Director Server上面，在Director Server虚拟一个对外访问的IP（VIP）。用户访问VIP，到达Director Server，Director Server根据一定的规则选择一个Real Server，处理完成后然后返回给客户端数据。这些步骤产生了一些具体的问题，比如如何选择具体的Real Server，Real Server如果返回给客户端数据等等。IPVS为此有三种机制：

一、 VS/NAT(Virtual Server via Network Address Translation)，即网络地址翻转技术实现虚拟服务器。

当请求来到时，Diretor server上处理的程序将数据报文中的目标地址（即虚拟IP地址）改成具体的某台Real Server,端口也改成Real Server的端口，然后把报文发给Real Server。Real Server处理完数据后，需要返回给Diretor Server，然后Diretor server将数据包中的源地址和源端口改成VIP的地址和端口，最后把数据发送出去。由此可以看出，用户的请求和返回都要经过Diretor Server，如果数据过多，Diretor Server肯定会不堪重负。

二、VS/TUN（Virtual Server via IP Tunneling）,即IP隧道技术实现虚拟服务器。

IP隧道（IP tunneling）是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术（IP encapsulation）。它跟VS/NAT基本一样，但是Real server是直接返回数据给客户端，不需要经过Diretor server,这大大降低了Diretor server的压力。

三、 VS/DR（Virtual Server via Direct Routing），即用直接路由技术实现虚拟服务器。

跟前面两种方式，它的报文转发方法有所不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。

1.5 三种模式优缺点比较

一、Virtual server via NAT（VS-NAT）

优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。

缺点：扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。

解决办法：即使是是负载均衡器成为整个系统的瓶颈，如果是这样也有两种方法来解决它。一种是混合处理，另一种是采用Virtual Server via IP tunneling或Virtual Server via direct routing。如果采用混合处理的方法，将需要许多同属单一的RR DNS域。你采用Virtual Server via IP tunneling或Virtual Server via direct routing以获得更好的可扩展性。也可以嵌套使用负载均衡器，在最前端的是VS-Tunneling或VS-Drouting的负载均衡器，然后后面采用VS-NAT的负载均衡器。

二、Virtual server via IP tunneling（VS-TUN）

我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。

优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。

不足：但是，这种方式需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议，我仅在Linux系统上实现了这个，如果你能让其它操作系统支持，还在探索之中。

三、Virtual Server via Direct Routing（VS-DR）

优点：和VS－TUN一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器，其中包括：Linux 2.0.36、2.2.9、2.2.10、2.2.12；Solaris 2.5.1、2.6、2.7；FreeBSD 3.1、3.2、3.3；NT4.0无需打补丁；IRIX 6.5；HPUX11等。

不足：要求负载均衡器的网卡必须与物理网卡在一个物理段上

三种模式的对比如下图所示：

2.LVS的安装

2.1 检查内核是否支持LVS

Centos6.5的内核已经支持了lvs，所有只需要安装lvs的管理工具ipvsadm即可；

检查linux内核是否集成lvs模块：modprobe -l | grep ipvs

开启路由转发功能：echo "1">/proc/sys/net/ipv4/ip_forward

2.2 安装依赖

yum install -y gcc gcc-c++ makepcre pcre-devel kernel-devel openssl-devel libnl-devel popt*

2.3 安装ipvsadm

步骤一、cd /usr/local/src/

步骤二、mkdir ipvsadm

步骤三、cd ipvsadm/

步骤四、wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz  或者 rz上传

步骤五、tar -xvf ipvsadm-1.26.tar.gz

步骤六、cd ipvsadm-1.26

步骤七、make

步骤八、make install

步骤九、ipvsadm –help (安装成功)

3.使用LVS+Nginx实现负载均衡

3.1 开发环境说明

使用VMware搭建3个linux实例，各个实例如下：

192.168.0.57（实例一，下文将以实例一代指该linux实例）：一级负载，安装lvs，用作lvs_director，并和域名www.taotao.com进行绑定。后续可通过域名访问该实例。

192.168.0.48（实例二，下文将以实例二代指该linux实例）：二级负载，安装nginx，用作lvs_real

192.168.0.49（实例三，下文将以实例三代指该linux实例）：二级负载，安装nginx，用作lvs_real

架构如下图所示：

3.2 配置Director Server

首先在实例一中配置Director Server，步骤如下：

步骤一：在eth0上绑定虚拟ip

ifconfig eth0:0 192.168.0.57 broadcast 192.168.0.57 netmask 255.255.255.255 up

此处在eth0设备上绑定了一个虚拟设备eth0:0，同时设置了一个虚拟IP是192.168.0.57，然后指定广播地址也为192.168.0.57，需要特别注意的是，这里的子网掩码为255.255.255.255。

步骤二：添加路由规则

route add -host 192.168.0.57 dev eth0:0

步骤三：启用系统的包转发功能

echo "1" >/proc/sys/net/ipv4/ip_forward

参数值为1时启用ip转发，为0时禁止ip转发。其实在DR模式中，开启系统的包转发功能不是必须的，而在NAT模式下此操作是必须的。

步骤四：清除原有转发规则

pvsadm –C

步骤五：添加虚拟IP规则

ipvsadm -A -t 192.168.0.57:80 -s rr

步骤六：在虚拟IP中添加服务规则

ipvsadm -a -t 192.168.0.57:80 -r 192.168.0.48:80 -g

ipvsadm -a -t 192.168.0.57:80 -r 192.168.0.49:80 –g

在新加虚拟IP记录中添加两条新的Real Server记录，并且指定LVS 的工作模式为直接路由模式。

步骤七：重启LVS服务

ipvsadm

3.3 配置Real Server

在lvs的DR和TUn模式下，用户的访问请求到达真实服务器后，是直接返回给用户的，而不再经过前端的Director Server，因此，就需要在每个Real server节点上增加虚拟的VIP地址，这样数据才能直接返回给用户。

在实例二和实例三中分别配置Real server，步骤如下：

步骤一：在回环设备上绑定一个虚拟IP地址

ifconfig lo:0 192.168.0.57 broadcast 192.168.0.57 netmask 255.255.255.255 up

/sbin/route add -host 192.168.0.57 dev lo:0

步骤二：设置参数

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

最后通过sysctl -p指令从/etc/sysctl.conf中加载系统参数。

3.4 测试

这里只讲一下测试的大概思路。

首先在实例二和实例三中搭建http服务，可以使用Tomcat或者httpd等工具，然后把http服务的端口修改为80端口，接着新建两个html页面置于实例二和实例三中，分别在这两个html页面上写出不同的内容以区分，然后开启http服务。打开浏览器，在浏览器上输入192.168.0.57，并重复访问该地址，若测试成功的话，将会不断看到两个页面的内容。