一、介绍
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。
【1】技术简介
LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。
【2】集群采用三层结构
一般来说，LVS集群采用三层结构，其主要组成部分为：
A、负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。
B、服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
C、共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。
【3】调度器
调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP负载均衡技术、基于内容请求分发技术或者两者相结合。
在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。
对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。 共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统（如NFS/CIFS）中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统，可以考虑用分布式文件系统，如AFS、GFS、Coda和Intermezzo等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。
【4】分布式锁管理器
此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器（Distributed Lock Manager），它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分布式锁管理器来保证应用程序在不同结点上并发访问的一致性。
负载调度器、服务器池和共享存储系统通过高速网络相连接，如100Mbps交换网络、Myrinet和Gigabit网络等。使用高速的网络，主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。
【5】监视器
Graphic Monitor是为系统管理员提供整个集群系统的监视器，它可以监视系统的状态。Graphic Monitor是基于浏览器的，所以无论管理员在本地还是异地都可以监测系统的状况。为了安全的原因，浏览器要通过HTTPS（Secure HTTP）协议和身份认证后，才能进行系统监测，并进行系统的配置和管理。
LVS 的IP地址类型
1.VIP:虚拟IP地址，并不提供服务，而是将用户的请求转发到后方
2 RIP:真正IP地址，客户端真正提供服务的IP地址
3.DIP:调度IP地址，通常是和RIP相连的LVS的IP地址
4.CIP:客户端IP地址，用户请求时，用户的IP
=============================分 割 线=============================
LVS集群的类型：
1.LVS-NAT DNAT
2.LVS-DR 直接路由
3.LVS-TUN 隧道
下面我们详细说明这三种类型：
LVS-NAT模型原理
用户的请求和响应都需要经过Director
源地址，目标地址都需要经过转换，而目标地址转换是透明的
这种架构的扩展有限调度器，Director将处理所有的请求，压力比较大，扩展到10个结点就不行了
要求：
1.集群节点必须在同一个物理网络中，同一个子网或者VLAN
2.DIP和RIP只能在同一个网络（子网）中，不能跨越网段
3.RIP地址通常是私有地址
4.所有的RIP，必须以DIP为网关（地址转换）
5.NAT的地址可以做端口转换（比如80--8080）
6.任何操作系统都可以做RIP
7.Director有可能成为整个系统的瓶颈
数据传输：
通过二层（数据链路层）转发（ARP）将DR的MAC地址转换成RIP的MAC地址（不是转变，而是转发），这样就实现了数据的传输，在RSS响应后，再将RSS的MAC地址转换成RIP的MAC地址。
===============================分 割 线==============================
LVS-DR模型原理
用户的请求必须经过Director，而realserver在响应的使用直接返回请求（图有问题，有可能设的网关不同，还存在一台路由器）
需要配置iptables规则，拒绝响应MAC地址转换，或者通过修改LINUX内核响应
优点：由于它比NAT少了一个地址转换，响应速度更快
特点
1.必须处于同一个物理网络中（连在同一个交换机上）
2.RIP可以使用公网地址（建议使用）
3.Director只转发请求，而realserver直接响应请求而不转发
4.集群节点的网关，不能指向DIP
5.不能做端口转换（不支持）
6.绝大多数的操作系统都可以实现realserver,而realserver需要同一个网卡配置多个Ip地址
7.DR模式的Director比NAT模式能够带动更多的节点
数据传输：
解决数据进入：
为了避免RS直接响应，给服务器的lo:0设置VIP地址，给本地网卡设置成CIP，这样RS就不会直接响应了，隐藏了RS
解决数据出去：
而默认情况下，Linux设置数据包从哪块网卡出去，源地址设为该网卡地址，通过添加一条特殊路由信息，如果目标地址是lo的VIP地址，那么出去的时候源地址设置为lo的地址。
路由信息的原理：
添加一条主机路由，将VIP的地址自己设置成一个网段,既子网掩码为255.255.255.255，这样VIP出去的时候没有比VIP更优的了，就成为最佳IP
在互联网上性能最佳的就是DR应用，但是有一个缺点，必须要求主机间距离比较近（比如一个机房），如果发生天灾人祸，集群就完了，所以我们为了实现异地分布，要采用隧道比如×××
==============================分 割 线============================
LVS-TUN模型原理：
虚拟隧道实现：
1.专线（加密）
2.二层：在MAC之外再加一层MAC
3.三层：源IP目标IP之外再加一层IP
隧道目的: 隐藏意图，通过转换来（ip套ip）隐藏目的
特征：
1.集群节点和Director不必在同一个网络
2.RIP必须使用公网地址
3.Director只需要处理进来的请求，不需要处理出去的请求
4.响应的请求一定不能经过Direcor.
5.Directory不支持端口映射
6.只能使用那些支持IP 隧道协议的操作系统做realserver
优点：LVS-TUN可以实现基于网络的集群，这样就脱离了LVS-DR的realserver之间的距离限制。
lvs scheduling methods调度算法有10种
静态调度4个轮叫RR
加权轮叫WRR 目标地址hash DH 源地地址hash SH
动态调度6个
最少链接（Least Connections） 加权最少链接（Weighted Least Connections）WLC linux默认的调度 shortest expected delay SED never queue NQ
基于本地的最少链接（Locality-Based Least Connections：DH）LBLC
带复制的基于本地最少链接（Locality-Based Least Connections with Replication）LBLCR
这里只介绍前两个模型的案例
lvs需要内核有ipvs支持，linux-2.4.23以后ipvs都编译到内核里，如果你是之前版本确保你的内核支持ipvs后，只需安装ipvsadm就可以把一台服务器配置成负载调度器（Load Balancer）。
案例一
LVS-NAT
拓扑图
配置步骤如下
把群集节点的网关指向192.168.2.1
这里采用Linux系统当作Director
首先打开路由转发功能并使之生效
[root@localhost ~]# vim /etc/sysctl.conf
7 net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
这里需要配置yum
[root@localhost ~]# mkdir /mnt/cdrom
[root@localhost ~]# mount /dev/cdrom /mnt/cdrom/
[root@localhost ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
[rhel-server]
2 name=Red Hat Enterprise Linux server
3 baseurl=file:///mnt/cdrom/Server
4 enabled=1
5 gpgcheck=1
6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
7 [rhel-cluster]
8 name=Red Hat Enterprise Linux cluster
9 baseurl=file:///mnt/cdrom/Cluster
10 enabled=1
11 gpgcheck=1
12 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
13 [rhel-vt]
14 name=Red Hat Enterprise Linux vt
15 baseurl=file:///mnt/cdrom/VT
16 enabled=1
17 gpgcheck=1
18 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
19 [rhel-clusterstorage]
20 name=Red Hat Enterprise Linux clusterstorage
21 baseurl=file:///mnt/cdrom/ClusterStorage
22 enabled=1
23 gpgcheck=1
24 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
安装ipvsadm
[root@localhost ~]# yum install ipvsadm –y
添加规则
访问192.168.145.100的80端口时采用rr调度算法，并且发送给Web服务器群集节点
[root@localhost ~]# ipvsadm -A -t 192.168.145.100:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.145.100:80 -r 192.168.2.100 –m //-m表示模型为nat
[root@localhost ~]# ipvsadm -a -t 192.168.145.100:80 -r 192.168.2.200 -m
[root@localhost ~]# service ipvsadm save //保存规则
[root@localhost ~]# service ipvsadm start //启动服务
web 服务器配置
Web1
#mount /dev/cdrom /mnt/cdrom
#yum install httpd –y
#cd /var/www/html/
#echo "web1” >>index.html
#service httpd start
web2
#mount /dev/cdrom /mnt/cdrom
#yum install httpd –y
#cd /var/www/html/
#echo "web1” >>index.html
#service httpd start
测试
刷新网页后
查看规则
[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.145.100:80 rr
-> 192.168.2.100:80 Masq 1 0 2
-> 192.168.2.200:80 Masq 1 0 2
案例二
LVS-DR
拓扑图
配置如下：
Web1
[root@localhost ~]# echo "net.ipv4.conf.all.arp_ignore = 1" >>/etc/sysctl.conf
[root@localhost ~]# echo "net.ipv4.conf.all.arp_announce = 2" >>/etc/sysctl.conf
[root@localhost ~]# sysctl –p
添加一块新的设备，这里取名lo:0 ip地址为192.168.145.101子网掩码设为255.255.255.255
[root@localhost ~]# service network restart
[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:F1:15:00
inet addr:192.168.145.200 Bcast:192.168.145.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fef1:1500/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:653 errors:0 dropped:0 overruns:0 frame:0
TX packets:639 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:82646 (80.7 KiB) TX bytes:125870 (122.9 KiB)
Interrupt:67 Base address:0x2000
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:55 errors:0 dropped:0 overruns:0 frame:0
TX packets:55 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:5785 (5.6 KiB) TX bytes:5785 (5.6 KiB)
lo:0 Link encap:Local Loopback
inet addr:192.168.145.101 Mask:255.255.255.255
UP LOOPBACK RUNNING MTU:16436 Metric:1
[root@localhost ~]# route add -host 192.168.145.101 dev lo:0
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.145.101 0.0.0.0 255.255.255.255 UH 0 0 0 lo
192.168.145.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0
#mount /dev/cdrom /mnt/cdrom
#yum install httpd –y
#cd /var/www/html/
#echo "web1” >>index.html
#service httpd start
web2
这里采用ssh的安全传输，把web1的配置文件拷贝到web2上，就不用我们修改原来的文件了
前提是我们知道对方的帐号密码
[root@localhost ~]# scp 192.168.145.200:/etc/sysctl.conf /etc/
The authenticity of host '192.168.145.200 (192.168.145.200)' can't be established.
RSA key fingerprint is 5f:53:c0:d3:9e:b3:9e:96:80:d3:7d:51:f3:37:67:e8.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.145.200' (RSA) to the list of known hosts.
[email protected]'s password:
sysctl.conf 100% 1062 1.0KB/s
[root@localhost ~]# sysctl –p
添加一块新的设备，这里取名lo:0 ip地址为192.168.145.101子网掩码设为255.255.255.255
[root@localhost ~]# service network restart
[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:C5:99:C3
inet addr:192.168.145.201 Bcast:192.168.145.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fec5:99c3/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:685 errors:0 dropped:0 overruns:0 frame:0
TX packets:534 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:104160 (101.7 KiB) TX bytes:104382 (101.9 KiB)
Interrupt:67 Base address:0x2000
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:70 errors:0 dropped:0 overruns:0 frame:0
TX packets:70 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:7793 (7.6 KiB) TX bytes:7793 (7.6 KiB)
lo:0 Link encap:Local Loopback
inet addr:192.168.145.101 Mask:255.255.255.255
UP LOOPBACK RUNNING MTU:16436 Metric:1
[root@localhost ~]# route add -host 192.168.145.101 dev lo:0
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.145.101 0.0.0.0 255.255.255.255 UH 0 0 0 lo
192.168.145.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0
#mount /dev/cdrom /mnt/cdrom
#yum install httpd –y
#cd /var/www/html/
#echo "web2” >>index.html
#service httpd start
Director
这里需要配置yum
[root@localhost ~]# mkdir /mnt/cdrom
[root@localhost ~]# mount /dev/cdrom /mnt/cdrom/
[root@localhost ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
[rhel-server]
2 name=Red Hat Enterprise Linux server
3 baseurl=file:///mnt/cdrom/Server
4 enabled=1
5 gpgcheck=1
6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
7 [rhel-cluster]
8 name=Red Hat Enterprise Linux cluster
9 baseurl=file:///mnt/cdrom/Cluster
10 enabled=1
11 gpgcheck=1
12 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
13 [rhel-vt]
14 name=Red Hat Enterprise Linux vt
15 baseurl=file:///mnt/cdrom/VT
16 enabled=1
17 gpgcheck=1
18 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
19 [rhel-clusterstorage]
20 name=Red Hat Enterprise Linux clusterstorage
21 baseurl=file:///mnt/cdrom/ClusterStorage
22 enabled=1
23 gpgcheck=1
24 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
安装ipvsadm
[root@localhost ~]# yum install ipvsadm –y
添加规则
访问192.168.145.101的80端口时采用rr调度算法，并且发送给Web服务器群集节点
[root@localhost ~]# ipvsadm -A -t 192.168.145.101:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.145.101:80 -r 192.168.145.200 –g //-g表示模型为DR
[root@localhost ~]# ipvsadm -a -t 192.168.145.101:80 -r 192.168.145.201 -g
[root@localhost ~]# service ipvsadm save //保存规则
[root@localhost ~]# service ipvsadm start //启动服务
添加一个设备，这里命名为eth0:0 ,ip地址设为192.168.145.101 子网掩码设为255.255.255.0
[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:1B:E2:73
inet addr:192.168.145.100 Bcast:192.168.145.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe1b:e273/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:3125 errors:0 dropped:0 overruns:0 frame:0
TX packets:4238 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:240611 (234.9 KiB) TX bytes:785373 (766.9 KiB)
Interrupt:67 Base address:0x2000
eth0:0 Link encap:Ethernet HWaddr 00:0C:29:1B:E2:73
inet addr:192.168.145.101 Bcast:192.168.145.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:67 Base address:0x2000
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:1881 errors:0 dropped:0 overruns:0 frame:0
TX packets:1881 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:2956328 (2.8 MiB) TX bytes:2956328 (2.8 MiB)
测试
刷新网页
