Linux5.1 LVS负载均衡群集

计算机系统

5G云计算

第一章 LINUX LVS负载均衡群集

一、LVS概述

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求。

如果使用小型机、大型机，价格比较昂贵，所以大多数企业会使用多台相对廉价的普通服务器构建服务群集。通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并已同一个IP地址对外提供相同的服务。

在企业中常用的一种群集技术——LVS（Linux Virtual Server，Linux虚拟服务器）

1.群集的含义

Cluster（集群、群集），由多台主机构成，但对外只表现为要给整体，只提供一个访问入口（域名和IP地址），相当于一个大型计算机

2.群集的特点

1）由多台主机构成

2）都干同样的一件事

3）对外展现是一个整体

3.扩展服务器的方式

1）纵向扩展：添加服务器硬件

2）横向扩展：添加服务器的数量

4.群集的类型

根据群集所针对的目标差异，可分为三种类型：负载均衡群集、高可用群集、高性能运算群集

1）负载均衡群集（Load Balance Cluster）

提高应用系统的响应能力、尽可能处理更多的访问请求减少延迟为目标，获得高并发、高负载（LB）的整体性能

LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。根据软件类来分应用，代表是LVS、Nginx、HAproxy；根据硬件类来分应用，代表的是F5、绿盟

2）高可用群集（High Availability Cluster）

提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA)的容错效果

HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。应用代表是Keepalived、heartbeat

3）高性能运算群集（High Performance Computer Cluster

以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力

高性能依赖于分布式运算、并行计算，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。主要代表云计算、网格计算等

5.负载均衡的结构

1）第一层：负载调度器 （Load Balancer或Director）：

访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集 IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性

2）第二层：服务器池（Server Pool）：

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址（真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池

3）第三层：共享存储（Share Storage）：

为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性共享存储可以使用 NAS设备，或者提供NFS共享服务的专用服务器

6.负载均衡集群工作模式分析

负载均衡集群是目前企业用得最多的群集类型。在生产环境中，集群的负载调度技术有三种工作模式分别是NAT模式、TUN模式、DR模式

1）NAT模式（地址转换）

类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的默认网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口服务器节点使用私有IP地址，也就是说调度器会承载双向数据的负载压力，可能会成为整个集群的性能瓶颈。

由于节点服务器都处于内网环境，使用私网IP地址，所以安全性尚可

2）TUN模式（IP隧道）

IP Tunnel，简称TUN模式。采用开放式的网络结构，负载调度器仅作为客户几的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。

由于服务器节点分散在不同为的公网环境中，需要具有独立的公网IP地址，调度器通过专用IP隧道与节点服务器相互通信。因此IP隧道模式的成本较高、安全性较低，且IP隧道需要更多的封装和解封装过程，性能也会收到影响

3）DR模式（直接路由）

Direct Routing，简称DR模式。采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

节点服务器与调度器是部署在同一个局域网内，因此不需要建立专用的IP隧道。DR模式是企业的首选

二、LVS-NAT 的部署

1.关于 LVS 虚拟服务器

针对Linux内核开发的负载均衡解决方案。1998年5月，由我国的章文嵩博士创建。它的官方网站： http://www.linuxvirtualserver.org/。LVS（Linux Virtual Server）实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。

LVS现在已成为 Linux 内核的一部分，默认编译为 ip_vs 模块必要时能够自动调用。在 CentOS 7 系统中，以下操作可以手动加载ip_vs 模块，并查看当前系统中 ip_vs 模块的版本信息

1）加载模块的方法

###一个一个添加
modprobe ip_vs
modprobe <模块名>   ###不带后面的.ko.xz

###for循环一次性添加所有模块
for i in `ls *  awk -F.'[print $l}'`
do
modprobe $i
done
###过滤模块名的方法二
ls * | grep -o "^[^.]*"
###过滤模块名的方法三
for i in `ls *`
do
modprobe `echo ${i%%,*}`
done

2.LVS的负载调度算法

LVS的负载调度算法	说明
轮询（Round Robin）	将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载
加权轮询（Weighted Round Robin）	根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多。保证性能强的服务器承担更多的访问流量
最少连接（Least Connections）	根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点
加权最少连接（Weighted Least Connections）	在服务器节点的性能差异较大时，可以为真实服务器自动调整权重。性能较高的节点将承担更大比例的活动连接负载

3.使用 ipvsadm 工具

LVS群集创建与管理流程：常见虚拟服务器——>添加删除服务器节点——>查看群集及节点情况——>保存负载分配策略

ipvsadm工具选项	说明
-A	添加虚拟服务器
-D	删除整个虚拟服务器
-s	指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc）
-a	表示添加真实服务器（节点服务器）
-d	删除某一个节点
-t	指定VIP地址及TCP端口
-r	指定RIP地址及TCP端口
-m	表示使用NAT群集模式
-g	表示使用DR模式
-i	表示使用TUN模式
-w	设置权重（权重为0时表示暂停节点）
-p 60	表示保持长连接60秒
-l	列表查看LVS虚拟服务器（默认为查看所有）
-n	以数字形式显示地址、端口等信息，常与“-l”选项组合使用，ipvsadm -ln

三、NAT模式 LVS负载均衡群集部署

负载调度器：内网关 ens33：192.168.58.30，外网关 ens35：12.0.0.30
Web节点服务器1：192.168.58.61
Web节点服务器2：192.168.68.62
tomcat多实例服务器：192.168.58.60
客户端：12.0.0.130

1.部署共享存储（tomcat多实例服务器：192.168.58.60）

参考上一篇博客的tomcat多实例服务器搭建

2.配置节点服务器（192.168.58.61、192.168.68.62）

参考上一篇博客的七层nginx服务器轮询，动静分离

3.配置负载调度器（内网关 ens33：192.168.58.30，外网关 ens36：12.0.0.30）

1）配置SNAT转发规则

systemctl disable --now firewalld.service
setenforce 0

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
或 echo '1' > /proc/sys/net/ipv4/ip_forward

sysctl -p

iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.58.0/24 -o ens35 -j SNAT --to-source 12.0.0.30

在这里插入图片描述

2）加载LVS内核模块

modprobe ip_vs					#加载 ip_vs模块
cat /proc/net/ip_vs				#查看 ip_vs版本信息

参考本文上面的一键加载所有模块

3）安装ipvsadm 管理工具

yum -y install ipvsadm

--启动服务前须保存负载分配策略---
ipvsadm-save > /etc/sysconfig/ipvsadm
或者 ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

4）配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）

ipvsadm -C 					#清除原有策略
ipvsadm -A -t 12.0.0.30:80 -s rr [-p 60]
ipvsadm -a -t 12.0.0.30:80 -r 192.168.58.61:80 -m [-w 1]
ipvsadm -a -t 12.0.0.30:80 -r 192.168.58.62:80 -m [-w 1]
ipvsadm						#启用策略

ipvsadm -ln					#查看节点状态，Masq代表 NAT模式
ipvsadm-save > /opt/ipvsadm						#保存策略
ipvsadm-save > /etc/sysconfig/ipvsadm
-----------------------------------------------------------------------
ipvsadm -d -t 12.0.0.30:80 -r 192.168.80.61:80
###删除群集中某一节点服务器
ipvsadm -D -t 12.0.0.30:80
###删除整个虚拟服务器
systemctl stop ipvsadm
###停止服务（清空策略），如果selinux没关闭/etc/sysconfig/ipvsadm内容也会清空
systemctl start ipvsadm
###启动服务（根据/etc/sysconfig/ipvsadm恢复策略）
ipvsadm-restore < /opt/ipvsadm
###恢复LVS 策略
-----------------------------------------------------------------------

4.测试效果

在一台IP为12.0.0.130的客户机使用浏览器访问 http://12.0.0.30/ ，不断刷新浏览器测试负载均衡效果，刷新间隔需长点（或者关闭Web服务的连接保持）

四、DR模式 LVS负载均衡群集

负载调度器：本地网卡 ens33：192.168.58.63/24
                      VIP虚拟网卡ens33:0：192.168.58.188/32
Web节点服务器1：本地网卡 ens33：192.168.58.61/24
                               VIP虚拟回环网卡 lo:0：192.168.58.188/32
Web节点服务器2：本地网卡 ens33：192.168.68.62/24
                               VIP虚拟回环网卡 lo:0：192.168.58.188/32
tomcat多实例服务器：192.168.58.60/24
客户端：192.168.58.10/24

1.部署共享存储（tomcat多实例服务器：192.168.58.60）

参考上一篇博客的tomcat多实例服务器搭建

2.配置节点服务器（192.168.58.61、192.168.68.62）

参考上一篇博客的七层nginx服务器轮询，动静分离
systemctl stop firewalld.service
setenforce 0

（1）配置虚拟 IP 地址（VIP：192.168.58.188）
###此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0		
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.58.188
NETMASK=255.255.255.255						
###注意：子网掩码必须全为 1

ifup lo:0
route add -host 192.168.58.188 dev lo:0
###临时配置路由路径

###永久配置路由路径
vim /etc/rc.local
/sbin/route add -host 192.168.58.188 dev lo:0
chmod +x /etc/rc.d/rc.local

（2）调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突
vim /etc/sysctl.conf
......
net.ipv4.conf.lo.arp_ignore = 1			
###系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2		
###系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

或者
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

sysctl -p

3.配置负载调度器（本地网卡 ens33：192.168.58.63/24、VIP虚拟网卡ens33:0：192.168.58.188/32）

1）配置虚拟 IP 地址（VIP：192.168.58.188）

systemctl stop firewalld.service
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0				
###若隧道模式，复制为ifcfg-tunl0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.58.188
NETMASK=255.255.255.255

ifup ens33:0

2）调整 proc 响应参数

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，需要关闭 icmp 的重定向，不充当路由器。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

3）配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -C
ipvsadm -A -t 192.168.58.188:80 -s rr
ipvsadm -a -t 192.168.58.188:80 -r 192.168.58.61:80 -g			
###若隧道模式，-g替换为-i
ipvsadm -a -t 192.168.58.188:80 -r 192.168.58.62:80 -g
ipvsadm

ipvsadm -ln					
###查看节点状态，Route代表 DR模式

4.测试效果

在一台IP为192.168.58.0/24网段的客户机使用浏览器访问http://192.168.80.188/，不断刷新浏览器测试负载均衡效果，刷新间隔需长点（或者关闭Web服务的连接保持）