LVS基于NAT的负载均衡

实验环境：VMware workstation 10

      centos 6.4

 LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。章文嵩博士目前工作于阿里集团，主要从事集群技术、操作系统、对象存储与数据库的研究


LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。


一般来说，LVS集群采用三层结构，其主要组成部分为：

A、负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。

B、服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。

C、共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。


虚拟服务器的几种类型：

通过NAT虚拟服务器

虚拟服务器的优势通过NAT是真正的服务器 可以运行任何操作系统,支持TCP / IP协议,真的吗 服务器可以使用私有网络地址,只有一个IP地址 所需的负载均衡器。


缺点是通过虚拟服务器的可伸缩性 NAT是有限的。 负载平衡器可能是整体的一个瓶颈 系统服务器节点(通用PC服务器)的数量增加 大约20或更多,因为请求数据包和响应 数据包需要重写的负载均衡器。 假设的 TCP数据包的平均长度是536字节,平均延迟 重写一个包是我们约60(奔腾处理器,这可以 稍微减少了使用更高的处理器),最大的吞吐量 负载均衡器的8.93 mb / s。 假设平均 真实服务器的吞吐量是400 kb / s,负载平衡器 安排22真实的服务器。


虚拟服务器通过NAT可以满足性能要求很多 服务器。 即使在负载均衡器的瓶颈 整个系统,有两种方法来解决这个问题,一个是混合动力车 方法,,另一个是 虚拟 服务器通过IP隧道 或 虚拟 服务器通过直接路由 。 在DNS混合的方式,有 很多都有自己的服务器集群的负载平衡器,和 负载平衡器由Round-Round分组在一个域名 DNS。 你可以尝试使用VS-Tunneling或VS-DRouting 可伸缩性,您也可以尝试嵌套和负载平衡器的方法, 第一个前端是VS-Tunneling或VS-DRouting负载均衡器, 第二层是许多VS-NAT负载平衡器,都有他们的 自己的集群。


虚拟服务器通过IP隧道

通过NAT在虚拟服务器,请求和响应数据包 需要通过负载均衡器,负载平衡器可能是一个新的 瓶颈当服务器节点的数量增加到20或更多, 因为网络接口的吞吐量是有限的 最终。 我们可以看到许多互联网服务(比如web 服务),请求数据包通常短,响应包 通常有大量的数据。


通过IP隧道,在虚拟服务器负载平衡器而已 时间表对不同的真实服务器的请求,和真正的服务器 回复直接返回给用户。 因此,负载平衡器可以处理 大量的请求,它可能安排超过100真正的服务器,它 不会是系统的瓶颈。 :-)因此使用IP隧道 将大大增加负载的服务器节点的最大数量 均衡器。 虚拟服务器可以达到的最大吞吐量 1 gbps,即使负载均衡器只有100 mbps的全双工网络 适配器。


IP隧道特性可以用来建立一个非常 高性能虚拟服务器。 这是极好的建设 虚拟代理服务器,代理服务器get请求,因为当它 可以直接访问互联网获取对象并返回它们 直接用户。

然而,所有服务器必须有“IP隧道”(IP 启用封装)协议,我只是测试了它在Linux上的IP 隧道。 如果你让虚拟服务器服务器上运行的其他工作 操作系统与IP隧道,请告诉 我 知道,我将很高兴听到 那


虚拟服务器通过直接路由

通过隧道的方法,像在虚拟服务器LinuxDirector 过程只有客户机到服务器的一个连接的一半 虚拟服务器通过直接路由和响应数据包可以遵循 独立的网络线路的客户。 这可以大大增加 虚拟服务器的可伸缩性。

通过IP隧道的方法相比,虚拟服务器,这一点 方法没有隧道开销(事实上,这开销 最小的在大多数情况下),但要求一个负载 平衡器的接口和真正的服务器的接口必须的 同一物理段。




LVS在服务器的负载均衡的实现，比较类似于netfilter框架，它在内核中靠的是LVS代码，在用户空间有工具ipvsadm，实现类似于四层的功能控制，


有以下几种大致的虚拟服务器负载均衡

1.基于DNS的解析类负载均衡，通过内部的地址调度算法，进行均衡，但由于这种均衡不涉及到后方服务器的真实性能，所以很可能造成负载“失衡”


2.前方架构dispatcher这种方案，Internet用户也不需要知道前端设备的存在

其工作方式可以分为以下几种

使用nat的方式 后方服务器可以是任意类型的支持tcp/ip的操作系统，但地址类型是私有的， 服务器数量较少，10到20个，网关指向前端设备


3.使用ip tunneling  后方服务器必须是隧道类型连接，可以在同一局域网，也可以是分部在广域网中，可以实现异地容灾概念， 支持的服务器数量多，服务器网关指向各自的网关


具体实现步骤：


[root@localhost ~]# vim /etc/sysctl.conf


wKiom1MeyfDAISmZAAAshbTca2c413.jpg


分别增加两台web服务器，并把它们的地址分配为192.168.2.18和192.168.2.17 并将他们与lvs的内网网卡（本例中的192.168.2.1网卡）放置到同一区域，如vmnet2


LVS基于NAT的负载均衡_第1张图片

LVS基于NAT的负载均衡_第2张图片

并保证他们与前段directe的通信


LVS基于NAT的负载均衡_第3张图片

LVS基于NAT的负载均衡_第4张图片


[root@localhost ~]# route -n

Kernel IP routing table

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface

192.168.3.0     0.0.0.0         255.255.255.0   U     1      0        0 eth2

192.168.2.0     0.0.0.0         255.255.255.0   U     1      0        0 eth1

分别在两台web服务器上安装HTTP服务

wKioL1Meycqyp3EoAAAqO0hLU6g464.jpg

web2站点我们选择监听在它的800端口

[root@localhost ~]# vim /etc/httpd/conf/httpd.conf

wKiom1MeyfGAJLziAAAPbmVMKQs438.jpg

并修改服务器的主机名称


wKioL1MeycqQn1QJAAAONxCW_lY883.jpg

web1站点我们选择监听在它的80端口

wKiom1Me0fzQK9rJAAAMoy7YSFY651.jpg

修改服务器的主机名称

wKioL1MeyczzVvxkAAAN9EX9aIQ667.jpg


在web1上建立测试页面，加入开机启动，为保证实验的测试效果，我们将页面内容分别用server1和server2代替


wKiom1MeyfOSeP3uAAA7IfgcNIM723.jpg

为保证正常访问关闭有关的selinux和防火墙设置


LVS基于NAT的负载均衡_第5张图片

在web2要做和web1同样的设置上，而且因为绑定了非标准端口，在开启服务是会因安全选项阻止而失败，所以我们要先关闭有关的安全选项，再开启服务


LVS基于NAT的负载均衡_第6张图片


服务器端directe配置步骤：

关于ipvsadm的信息


[root@localhost Packages]# rpm -qip ipvsadm-1.25-10.el6.i686.rpm

warning: ipvsadm-1.25-10.el6.i686.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY

Name        : ipvsadm                      Relocations: (not relocatable)

Version     : 1.25                              Vendor: CentOS

Release     : 10.el6                        Build Date: Fri 22 Jun 2012 12:08:15 AM PDT

Install Date: (not installed)               Build Host: c6b8.bsys.dev.centos.org

Group       : Applications/System          Source RPM: ipvsadm-1.25-10.el6.src.rpm

Size        : 65763                            License: GPLv2+

Signature   : RSA/SHA1, Sun 24 Jun 2012 03:08:27 PM PDT, Key ID 0946fca2c105b9de

Packager    : CentOS BuildSystem

URL         : http://www.linuxvirtualserver.org/software/ipvs.html

Summary     : Utility to administer the Linux Virtual Server

Description :

ipvsadm is a utility to administer the IP Virtual Server services

offered by the Linux kernel.

安装ipvsadm：

[root@localhost Packages]# rpm -ivh ipvsadm-1.25-10.el6.i686.rpm

warning: ipvsadm-1.25-10.el6.i686.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY

Preparing...                ########################################### [100%]

  1:ipvsadm                ########################################### [100%]



ipvsadmn -A来增加一个服务 -E修改一个服务 -t指明协议 （第一大步）

ipvsadm -a 指明real server -e 编辑 -g表示DR（直接路由）模型 -i表示tunneling隧道模型  -m 表示masquerading 既nat模型  默认为-g gatway模型


-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。

-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。

-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。

-C --clear 清除内核虚拟服务器表中的所有记录。

-R --restore 恢复虚拟服务器规则

-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式

-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器

-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录

-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录

-L|-l --list 显示内核虚拟服务器表

-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）

-r --real-server server-address 真实的服务器[Real-Server:port]

-w --weight weight 真实服务器的权值

-m --masquerading 指定LVS 的工作模式为NAT 模式

-h --help 显示帮助信息



[root@localhost ~]# ipvsadm -A -t 192.168.3.2:80 -s rr   #增加一个tcp协议的虚拟服务，虚拟地址192.168.3.2 -s指明所用算法为round-robin


[root@localhost ~]# ipvsadm -a -t 192.168.3.2:80 -r 192.168.2.18:80 -m      #增加一个真实服务器对应到192.168.3.2，真实服务器地址为192.168.2.18的80端口 -m指定转换类型问NAT


[root@localhost ~]# ipvsadm -a -t 192.168.3.2:80 -r 192.168.2.17:800 -m     #增加一个真实服务器对应到192.168.3.2，真实服务器地址为192.168.2.17的800端口 -m指定转换类型问NAT



启用浏览器测试，注意测试要多刷新几次请求，使后端的directed测试结果明显

页面效果server2

LVS基于NAT的负载均衡_第7张图片


负载均衡效果页面server1


LVS基于NAT的负载均衡_第8张图片


查看轮询结果

[root@localhost ~]# ipvsadm -l -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.3.2:80 rr

 -> 192.168.2.18:80              Masq    1      0          7        

 -> 192.168.2.18:800             Masq    1      0          7  


加权轮询调度算法



使用加权的轮询算法（wrr）

[root@localhost ~]# ipvsadm -E -t 192.168.2.10:80 -s wrr     //加权轮询算法      

[root@localhost ~]# ipvsadm -e -t 192.168.2.10:80 -r 192.168.4.200:800 -m -w 2  //权重设2

[root@localhost ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.2.10:80 wrr

 -> 192.168.4.100:80             Masq    1      0          0    

 -> 192.168.4.200:800            Masq    2      0          0


测试结果，比例基本在1:2

[root@localhost ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.2.10:80 wrr

 -> 192.168.4.100:80             Masq    1      0          7    

 -> 192.168.4.200:800            Masq    2      0          14


配置保存

[root@localhost ~]# service ipvsadm save           //保存

ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [  OK  ]

[root@localhost ~]# vim /etc/sysconfig/ipvsadm     //查看

 1 -A -t 192.168.2.10:80 -s wrr

 2 -a -t 192.168.2.10:80 -r 192.168.4.100:80 -m -w 1

 3 -a -t 192.168.2.10:80 -r 192.168.4.200:800 -m -w 2

[root@localhost ~]# ipvsadm -C                     //临时清除

[root@localhost ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn                                                        

[root@localhost ~]# service ipvsadm restart        //重新应用

ipvsadm: Clearing the current IPVS table:                  [  OK  ]

ipvsadm: Unloading modules:                                [  OK  ]

ipvsadm: Clearing the current IPVS table:                  [  OK  ]

ipvsadm: Applying IPVS configuration:                      [  OK  ]

[root@localhost ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.2.10:80 wrr

 -> 192.168.4.100:80             Masq    1      0          0    

 -> 192.168.4.200:800            Masq    2      0          0


在所用的direct中有round-robin算法和基于权重的round-robin算法，最少连接数概念（动态计算）    源哈希指的是记录第一次来时访问的某个服务器，以后的同样的数据流都会定向到同一台后台real server上。目标哈希则会影响访问数据的返回路径，假如从防火墙a来，则从防火墙b返回


查看内核参数中的ipvsadm信息

[root@localhost ~]# sysctl -p

net.ipv4.ip_forward = 1

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

kernel.sysrq = 0

kernel.core_uses_pid = 1

net.ipv4.tcp_syncookies = 1

error: "net.bridge.bridge-nf-call-ip6tables" is an unknown key

error: "net.bridge.bridge-nf-call-iptables" is an unknown key

error: "net.bridge.bridge-nf-call-arptables" is an unknown key

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 4294967295

kernel.shmall = 268435456

[root@localhost ~]# grep -i vs /boot/config-2.6.32-358.el6.i686

# CONFIG_GENERIC_TIME_VSYSCALL is not set

CONFIG_HIBERNATION_NVS=y

CONFIG_IP_VS=m

CONFIG_IP_VS_IPV6=y

# CONFIG_IP_VS_DEBUG is not set

CONFIG_IP_VS_TAB_BITS=12

# IPVS transport protocol load balancing support

CONFIG_IP_VS_PROTO_TCP=y

CONFIG_IP_VS_PROTO_UDP=y

CONFIG_IP_VS_PROTO_AH_ESP=y

CONFIG_IP_VS_PROTO_ESP=y

CONFIG_IP_VS_PROTO_AH=y

CONFIG_IP_VS_PROTO_SCTP=y

# IPVS scheduler

CONFIG_IP_VS_RR=m

CONFIG_IP_VS_WRR=m

CONFIG_IP_VS_LC=m

CONFIG_IP_VS_WLC=m

CONFIG_IP_VS_LBLC=m

CONFIG_IP_VS_LBLCR=m

CONFIG_IP_VS_DH=m

CONFIG_IP_VS_SH=m

CONFIG_IP_VS_SED=m

CONFIG_IP_VS_NQ=m

# IPVS application helper

CONFIG_IP_VS_FTP=m

CONFIG_OPENVSWITCH=m

CONFIG_MTD_BLKDEVS=m

CONFIG_SCSI_MVSAS=m

# CONFIG_SCSI_MVSAS_DEBUG is not set

CONFIG_VMWARE_PVSCSI=m

CONFIG_MOUSE_VSXXXAA=m

CONFIG_MAX_RAW_DEVS=8192

CONFIG_USB_SEVSEG=m

CONFIG_USB_VST=m



其他调度算法简介


Least-Connection调度

least-connection调度算法指导网络 连接到服务器的数量最少的 连接。 这是一个动态调度算法; 因为它需要计数为每个服务器连接生活 动态。 为虚拟服务器管理的集合 服务器性能相似,least-connection调度 好光滑分布在不同请求的负载 很多。虚拟服务器将直接请求到真正的服务器 用最少的活动连接。


乍一看似乎least-connection调度也可以 表现良好,即使有各种处理的服务器 能力,因为更快的服务器将获得更多的网络 连接。 事实上,因为它不能执行很好 TCP的TIME_WAIT状态。 TCP的TIME_WAIT通常是2分钟, 在这2分钟一个繁忙的网站经常收到成千上万的 连接,例如,服务器是强大的两倍 服务器,服务器处理成千上万的请求 让他们在TCP的TIME_WAIT状态,但服务器B 爬行到成千上万的连接完成。 所以, least-connection调度无法负荷之间的平衡 服务器与不同的处理能力。


加权Least-Connection调度

加权least-connection调度的超集 least-connection调度中,您可以指定一个 性能重量每个真正的服务器。 服务器具有更高 重量值将获得更大比例的生活连接 在任何一个时间。 管理员可以分配一个虚拟服务器 重量每个真正的服务器和网络连接计划 每个服务器的当前数量的百分比 现场连接每个服务器是一个比它的重量。 的 默认的重量就是其中之一。


关于他们更详细的介绍可以参阅www.linuxvirtualserver.org/VS-NAT.html