构建LVS负载均衡群集——地址转换模式(LVS-NAT)

一 群集的概念

来自于英文单词“cluster”，表示一群、一串的意思，在服务器领域表示一大群服务器的集合体，以区分于单个服务器。

1.1 群集的类型

无论是哪种群集，都至少包括两台节点服务器，而对外表现为一个整体，只提供一个访问入口（域名或者IP地址），相当于一台大型计算机。根据群集所针对的目标差异，可以分为以下三种类型。

• 负载均衡群集
  以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载的整体性能。
  负载均衡的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。

• 高可用群集
  以提高应用系统的可靠性，尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。

• 高性能运算群集
  以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型，超级计算机的高性能运算（HPC）能力。
  高性能依赖于“分布式运算”，“并行计算”，通过专用硬件和软件将多个服务器的CPU，内存等资源整合在一起，实现只有大型，超级计算机才具备的计算能力。

1.2 负载均衡的分层类型

在典型的负载均衡群集中，包括三个层次的组件，如图 1.1 所示。前端至少有一个负载调度器（Load Balancer，或称为 Director）负责响应并分发来自客户机的访问请求；后端由大量真实服务器（Real Server）构成服务器池（Server Pool），提供实际的应用服务，整个群集的伸缩性通过增加、删除服务器节点来完成，而这些过程对客户机是透明的；为了保持服务的一致性，所有节点使用共享存储设备。

• 第一层，负载调度器(Load Balancer或Director)
  这是访问整个群集系统的唯一入口，对外使用所有服务器共有的 VIP（Virtual IP，虚拟 IP）地址，也称为群集IP 地址。通常会配置主、备 两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。
• 第二层，服务器池(Server Pool)
  群集所提供的应用服务（如 HTTP、FTP）由服务器池承担，其中每个节点具有独立的 RIP（Real IP，真实IP）地址，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错 误排除以后再重新纳入服务器池。
• 第三层，共享存储(Share Storage)
  为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。在 Linux/UNIX环境中，共享存储可以使用 NAS 设备，或者提供NFS（Network File System，网络文件系统）共享服务的专用服务器。

1.3 负载均衡的工作模式

关于群集的负载调度技术，可以基于IP、端口、内容等进行分发，其中基于IP的负载调度是效率最高的。基于IP的负载均衡模式中，常见的有地址转换、IP 隧道和直接路由三种工作模式。

• NAT模式
  
  地址转换（Network Address Translation）：简称 NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。
• IP隧道
  
  IP 隧道（IP Tunnel）：简称 TUN 模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。服务器节点分散在互联网中的不同位置，具有独立的公网IP地 址，通过专用IP隧道与负载调度器相互通信。
• 直接路由
  
  直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。
  总结：
  以上三种工作模式中，NAT 方式只需要一个公网 IP 地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就采用这种方式。相比较而言，DR 模式和 TUN 模式的负载能力更加强大，适用范围更广，但节点的安全性要稍差一些。

二 LVS虚拟服务器

把调度器和节点服务器组成的群集合称虚拟服务器（LVS）。
Linux Virtual Server 是针对 Linux 内核开发的一个负载均衡项目，实际上相当于基于IP地址的虚拟化应用，LVS为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。
LVS 现在已成为 Linux 内核的一部分，默认编译为 ip_vs 模块，必要时能够自动调用。
手动加载ip_vs模块并查看版本信息

[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs

2.1 LVS的负载调度算法

• 轮询（Round Robin）：将收到的访问请求按照顺序轮流分配给群集中的各节点，均等地对待每台服务器，而不管服务器实际的连接数和系统负载。
• 加权轮询（Weighted Round Robin）：根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务并且分配的请求越多，这样可以保证性能高的节点承担更多请求。
• 最少连接（Least Connections）：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载。
• 加权最少连接（Weighted Least Connections）：在服务器节点的性能差异较大的情况下，调度器可以根据节点服务器负载自动调整权重，权重较高的节点将承担更大比例的活动连接负载。

2.2 ipvsadm管理工具

ipvsadm 是在负载调度器上使用的 LVS 群集管理工具，通过调用 ip_vs 模块来添加、删除服务器节点 ，以 及查看群集的运行状态。在CentOS 7 系 统 中 ， 需要手动安装 ipvsadm.x86_64 0:1.27-7.el7 软件包。

yum -y install ipvsadm
查看ipvsadm版本
ipvsadm -v

（1）创建虚拟服务器
例：群集VIP地址为20.0.0.21，针对TCP80端口提供负载分流服务，使用的调度算法为轮询，则对应的ipvsadm命令操作如下。对于负载均衡调度器来说，VIP必须是本机实际已启用的IP地址。

[root@localhost ~]# ipvsadm -A -t 20.0.0.21:80 -s rr

选项-A表示添加虚拟服务器，-t指定VIP地址及TCP端口，-s用来指定负载均衡调度算法——轮询（rr），加权轮询（wrr），最少连接（lc），加权最少连接（wlc）。
（2）添加服务器节点
例：为虚拟服务器20.0.0.21添加两个服务器节点，IP地址依次为20.0.0.22、20.0.0.23，对应的ipvsadm命令操作如下。若使用保持连接，还应该添加“-p 60”选项，其中60为保持时间（秒）。

[root@localhost ~]# ipvsadm -a -t 20.0.0.21:80 -r 192.168.100.22:80 -m
[root@localhost ~]# ipvsadm -a -t 20.0.0.21:80 -r 192.168.100.23:80 -m

-a表示添加真实服务器，-t表示指定VIP地址及TCP端口，-r用来指定RIP地址及TCP端口；-m表示使用NAT群集模式，-g表示使用DR模式，-i表示TUN模式；-w用来设置权重。
（3）查看群集节点状态

[root@localhost ~]# ipvsadm -ln

其中Forward列下的Masq对应Masquerade（地址伪装），表示采用NAT群集模式，如果是Route，则表示采用DR群集模式。
（4）删除服务器节点
删除服务器池中某一个节点时使用选项-d。
例：删除LVS群集20.0.0.21中的节点20.0.0.23。

[root@localhost ~]# ipvsadm -d -r 192.168.100.23:80 -t 20.0.0.21:80

删除整个LVS群集时，使用选项-D。

ipvsadm -D -t 20.0.0.21：80

（5）保存负载分配策略
使用导出/导入工具ipvsadm-save/ipvsadm-restore可以保存、恢复LVS策略，类似于iptables规则的导出、导入。

ipvsadm-save > /opt/ipvsadm

三 构建LVS-NAT群集

3.1 实验环境

角色	系统	IP地址
负载调度器	Linux centos7.6	20.0.0.21（外）192.168.100.21（内）
web节点服务器1	Linux centos7.6	192.168.100.22
web节点服务器2	Linux centos7.6	192.168.100.23
存储共享服务器	Linux centos7.6	192.168.100.24

3.2 NFS共享服务器配置

NFS 服务的实现依赖于 RPC（Remote Process Call，远端过程调用）机制，以完成远程到本地的映射过程。在 CentOS 7 系统中，需要安装 nfs-utils、rpcbind 软件包来提供 NFS 共享服务，前者用于 NFS 共享发布和访问，后者用于 RPC 支持。

存储服务器（192.168.100.24）

• 关闭防火墙、核心防护

[root@localhost opt]# systemctl stop firewalld
[root@localhost opt]# setenforce 0
[root@localhost opt]# vi /etc/selinux/config 
SELINUX=disabled

• 安装nfs-util、rpcbind软件包

[root@nfs ~]# yum -y install nfs-utils rpcbind

• 创建共享目录
  NFS的配置文件为/etc/exports，文件内容默认为空（无任何共享）。在 exports 文件中设置共享资源时，记录格式为“目录位置 客户机地址(权限选项)”，其中客户机地址可以是主机名、IP 地址、网段地址，允许使用*、?通配符；权限选项 中的 rw 表示允许读写（ro 为只读），sync 表示同步写入

[root@localhost yum.repos.d]# mkdir /opt/51fei /opt/52fei
[root@localhost yum.repos.d]# cd /opt/
[root@localhost opt]# echo "this is www.51fei.top" >/opt/51fei/index.html
[root@localhost opt]# echo "this is www.52fei.top" >/opt/52fei/index.html
[root@localhost opt]# cat /opt/51fei/index.html 
this is www.51fei.top
[root@localhost opt]# cat /opt/52fei/index.html 
this is www.52fei.top

[root@localhost opt]# vi /etc/exports
/opt/51fei 192.168.100.0/24(rw,sync)
/opt/52fei 192.168.100.0/24(rw,sync)

• 开启nfs、rpcbind服务并查看本机发布的 NFS 共享目录

[root@localhost opt]# systemctl restart nfs rpcbind
[root@localhost opt]# systemctl enable nfs rpcbind

[root@localhost opt]# showmount -e
Export list for localhost.localdomain:
/opt/52fei 192.168.100.0/24
/opt/51fei 192.168.100.0/24

3.3 web节点服务器1配置

web服务器（192.168.100.22）

• 关闭防火墙、核心防护

systemctl stop firewalld
setenforce 0
vi /etc/selinux/config 
SELINUX=disabled

• 安装FNS和apache

yum -y install nfs-utils
yum -y install httpd
systemctl start httpd
systemctl enable httpd

• 查看NFS服务器端共享目录

[root@web1 ~]# showmount -e 192.168.100.24
Export list for 192.168.100.24:
/opt/51fei 192.168.100.0/24
/opt/52fei 192.168.100.0/24

• 挂载NFS共享目录并设置永久挂载

mount 192.168.100.24:/opt/51fei /var/www/html/

vi /etc/fstab 
/dev/cdrom /mnt iso9660 defaults 0 0
192.168.100.24:/opt/51fei /var/www/html nfs defaults,_netdev 0 0

3.4 web节点服务器2配置

web服务器（192.168.100.23）

• 关闭防火墙、核心防护

systemctl stop firewalld
setenforce 0
vi /etc/selinux/config 
SELINUX=disabled

• 安装FNS和apache并启动

yum -y install nfs-utils
yum -y install httpd
systemctl start httpd
systemctl enable httpd

• 查看NFS服务器端共享目录

[root@web1 ~]# showmount -e 192.168.100.24
Export list for 192.168.100.24:
/opt/51fei 192.168.100.0/24
/opt/52fei 192.168.100.0/24

• 挂载NFS共享目录并设置永久挂载

mount 192.168.100.24:/opt/52fei /var/www/html/

vi /etc/fstab 
/dev/cdrom /mnt iso9660 defaults 0 0
192.168.100.24:/opt/52fei /var/www/html nfs defaults,_netdev 0 0

3.5 负载均衡调度器配置

调度器（192.168.100.21[内网地址] 20.0.0.21[外网地址]）

• 添加新网卡

nmcli connection
cd /etc/sysconfig/network-scripts/
ll
cp ifcfg-ens33 ifcfg-ens36
vi ifcfg-ens36
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens36
UUID=6997e18e-8932-3da9-b2fa-36cc95a0e99f
DEVICE=ens36
ONBOOT=yes
IPADDR=20.0.0.21
NETMASK=255.255.255.0
：wq
systemctl restart network

• 搭建本地yum仓库

mount /dev/cdrom /mnt/
mkdir backup
mv C* backup/

vi CentOS-Base.repo

[centos]
name=CentOS
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=centosplus&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/centosplus/$basearch/
baseurl=file:///mnt
gpgcheck=0
enabled=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

yum clean all
yum makecache

对于 LVS 负载调度器来说，需开启路由转发规则，以便节点服务器能够访问 Internet。 所有的节点服务器、共享存储均位于私有网络内，其默认网关设为 LVS 负载调度器的内网地址。

• 开启路由转发功能

[root@lvs ~]# vim /etc/sysctl.conf 
net.ipv4.ip_forward=1

[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1

• 配置负载分配策略
  群集VIP地址为20.0.0.21，针对TCP80端口提供负载分流服务，使用的调度算法为轮询；为虚拟服务器20.0.0.21添加两个服务器节点，IP地址依次为20.0.0.22、20.0.0.23，-m表示使用NAT群集模式；查看群集节点状态。

root@localhost ~]# ipvsadm -A -t 20.0.0.21:80 -s rr
[root@localhost ~]# ipvsadm -a -t 20.0.0.21:80 -r 192.168.100.22:80 -m
[root@localhost ~]# ipvsadm -a -t 20.0.0.21:80 -r 192.168.100.23:80 -m
[root@localhost ~]# ipvsadm -ln

• 客户机登录验证
  用浏览器输入VIP地址20.0.0.21对LVS进行负载均衡验证