LVS负载均衡群集概念及LVS-RR群集部署搭建
文章目录
- 企业群集应用概述
-
- 群集的含义
- 问题
- 解决方法
- 企业群集分类
-
- 负载均衡群集（LB）
- 高可用群集
- 高性能运算群集
- 负载均衡群集架构
-
- 结构
- 工作模式
-
- 1、NAT模式（地址转换）
- 2、TUN模式（IP隧道）
- 3、DR模式（直接路由）
- LVS虚拟服务器
-
- 由来
- LVS负载调度算法
- ipvsadm工具
-
- 概述
- LVS群集创建与管理
- LVS-NAT模式部署
-
- 环境部署
- 1、部署共享存储（NFS:192.168.238.12）
- 2、配置节点web服务器（192.168.238.13、192.168.238.14）
- 3、配置LVS负载调度器（内网卡ens33：192.168.238.11、外网卡ens37：12.0.0.1）
- 4、测试结果
- 总结
-
- 负载均衡群集结构在企业中的作用
- 阿里使用的负载均衡调度是什么
- NAT、TUN和DR三种工作模式的区别
- ipvsadm管理工具
-
- LVS群集创建与管理
- 注意点
企业群集应用概述
群集的含义
- Cluster，集群、群集
- 由多台主机构成，但对外只表现为一个整体
问题
互联网应用中，随着站点对硬件性能、相应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心，而且有可能发生单点故障
解决方法
- 使用价格昂贵的小型机、大型机
- 使用普通服务器构建服务群集
企业群集分类
根据群集所针对的目标差异，可以分为三类：
- 负载均衡群集
- 高可用群集
- 高性能运算群集
负载均衡群集（LB）
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体性能
- LB的负载分配依赖于主节点的分流算法，分流也就是分发流量
- 算法除了分流还有其他的比如轮询、加权轮询和最小连接等
目的：分压，对内提高服务器性能；对外提高用户体验感
LVS+keepalived、nginx+keepalived
高可用群集
- 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果
- HA的工作方式包括双工和主从两种模式
冗余备份，解决单点故障——keepalived
高性能运算群集
- 提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
- 高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力
读写分离
负载均衡群集架构
负载均衡群集是目前企业用的最多的群集类型
结构
硬件防火墙的IP默认是无法ping通的
第一层：负载调度器（代理）
第二层：服务器池（nginx upstream 后端各个服务器的位置，即ip地址）
第三层：共享存储（NFS、GFS）
如图所示：
1.负载接受客户请求、请求分发给资源池
2.服务器池等待调度器分配任务
3.共享存储给与前端负载调度/服务器池提供存储空间
在企业中：
1.属于企业架构中前端的部分
2.负载调度器：对外，由调度器服务器提供一个VIP作为统一入口，对内，按照分流算法分发流量的请求给服务器池
3.服务器池接收、响应/处理负载调度的任务
4.共享存储为服务器提供存储空间
工作模式
群集的负载调度技术有三种工作模式：
- 地址转换（NAT、SNAT、DNAT）
- IP隧道（TUN）
- 直接路由
1、NAT模式（地址转换）
- 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
- 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式
2、TUN模式（IP隧道）
- 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
- 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信
- VPN实现了两重加密，隧道加密和数据加密，在私网和公网都会被应用
- IP隧道的所有服务器都在公网模式下
3、DR模式（直接路由）
- 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
- 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道
LVS虚拟服务器
由来
- 针对Linux内核的负载均衡解决方案
- 1998年5月，由我国章文嵩博士创建
- 官方网站：http://www.linuxvirtualserver.org/
现在LVS已经是Linux内核中的一部分了，在CentOS7系统中，可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息
modprobe ip_vs
cat /proc/net/ip_vs #确认内核对LVS的支持
LVS负载调度算法
- 轮询（RR）
将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不会因为服务器实际的连接数和系统负载而改变 - 加权轮询（WRR）
根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多。保证性能强的服务器承担更多的访问流量 - 最少连接（LC）
根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点 - 加权最少连接（WLC）
在服务器节点的性能差异较大时，可以为真实服务器自动调整权重，性能较高的节点将承担更大比例的活动连接负载
ipvsadm工具
概述
从2.4版本开始，Linux内核默认支持LVS，要使用LVS只需要安装一个LVS的管理工具：ipvsadm。
LVS的结构主要分为两部分：
- 工作在内核空间的IPVS模块。LVS的能力实际上都是由IPVS模块实现的
- 工作在用户空间的ipvsadm管理工具。其作用是向用户提供一个命令接口，用于将配置的虚拟服务、真实服务等传给IPVS模块
LVS群集创建与管理
ipvsadm工具选项说明：
-A：添加虚拟服务器
-D：删除整个虚拟服务器
-s：指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc）
-a：表示添加真实服务器（节点服务器）
-d：删除某一个节点
-t：指定 VIP地址及 TCP端口
-r：指定 RIP地址及 TCP端口
-m：表示使用 NAT群集模式
-g：表示使用 DR模式
-i：表示使用 TUN模式
-w：设置权重（权重为 0 时表示暂停节点）
-p 60：表示保持长连接60秒
-l：列表查看 LVS 虚拟服务器（默认为查看所有）
-n：以数字形式显示地址、端口等信息，常与“-l”选项组合使用。ipvsadm -ln
LVS-NAT模式部署
LVS调度器作为web服务器池的网关，LVS两块网卡，分别连接内外网，使用轮询（RR）调度算法
环境部署
| 主机 | 操作系统 | IP地址 | 工具/软件包 |
|---|---|---|---|
| LVS负载调度器 | centos7 | 内网：192.168.238.11、外网：12.0.0.1 | ipvsadm |
| NFS服务器 | centos7 | 192.168.238.12 | rpcbind、nfs-utils |
| web节点服务器1 | centos7 | 192.168.238.13 | rpcbind、nfs-utils、httpd |
| web节点服务器2 | centos7 | 192.168.238.14 | rpcbind、nfs-utils、httpd |
| 客户端（外网） | windows | 12.0.0.12 | —— |
1、部署共享存储（NFS:192.168.238.12）
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
yum -y install nfs-utils rpcbind
systemctl start rpcbind.service
systemctl start nfs.service
systemctl enable nfs.service
systemctl enable rpcbind.service
mkdir /opt/zzw
mkdir /opt/abab
chmod 777 /opt/zzw
chmod 777 /opt/abab
vim /etc/exports
/usr/share *(ro,sync)
/opt/zzw 192.168.238.0/24(rw,sync)
/opt/abab 192.168.238.0/24(rw,sync)
exportfs -rv
2、配置节点web服务器（192.168.238.13、192.168.238.14）
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
yum install httpd -y
systemctl start httpd.service
systemctl enable httpd.service
yum -y install nfs-utils rpcbind
showmount -e 192.168.238.12
systemctl start rpcbind
systemctl enable rpcbind
两台web节点服务器都做以上相同的操作
这里开始两台节点服务器就不一样了
- web1（192.168.238.13）
mount.nfs 192.168.238.12:/opt/zzw /var/www/html
echo 'this is zzw web!' > /var/www/html/index.html
- web2（192.168.238.14）
mount.nfs 192.168.238.14:/opt/abab /var/www/html
echo 'this is abab web!' > /var/www/html/index.html
3、配置LVS负载调度器（内网卡ens33：192.168.238.11、外网卡ens37：12.0.0.1）
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
1. 配置SNAT转发规则
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
或
echo '1' > /proc/sys/net/ipv4/ip_forward
sysctl -p
iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.238.0/24 -o ens36 -j SNAT --to-source 12.0.0.1
2. 加载LVS内核模块
modprobe ip_vs #加载 ip_vs模块
cat /proc/net/ip_vs #查看 ip_vs版本信息
3. 安装ipvsadm 管理工具
yum -y install ipvsadm
启动服务前须保存负载分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
或
ipvsadm --save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
4. 配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）
ipvsadm -C #清除原有策略
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.238.13:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.238.14:80 -m
ipvsadm #启用策略
ipvsadm -ln #查看节点状态，Masq代表 NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm #保存策略
4、测试结果
在一台IP为12.0.0.12的windows客户机使用浏览器访问http://12.0.0.1/，不断刷新查看负载均衡效果，刷新间隔建议长一点。
总结
负载均衡群集结构在企业中的作用
1.属于企业架构中前端的部分
2.负载调度器：对外，由调度器服务器提供一个VIP作为统一入口，对内，按照分流算法分发流量的请求给服务器池
3.服务器池接收、响应/处理负载调度的任务
4.共享存储为服务器提供存储空间
阿里使用的负载均衡调度是什么
SLB 包含LVS和Tengine（基于nginx功能开发）
- LVS控制的是四层即可控制IP也可控制端口
- Tengine控制的是七层（应用层例如HTTP、HTTPS）
所以LSB集合控制四层和七层，安全性很高
NAT、TUN和DR三种工作模式的区别
| 工作模式 | NAT | TUN | DR |
|---|---|---|---|
| server number（节点数量） | 较低 10-20 | 较高 100 | 较高 100 |
| 真实网关 | 负载调度器 | 自由路由器 | 自由路由器 |
| IP地址 | 公网+私网 | 公网 | 私网 |
| 优点 | 安全性高 | 安全、速度快 | 性能最好 |
| 缺点 | 效率低、压力大 | 需要隧道支持 | 不能跨越LAN（局域网） |
ipvsadm管理工具
LVS群集创建与管理
- 创建虚拟服务器
- 添加、删除服务器节点
- 查看群集及节点情况
- 保存负载分配策略
注意点
启动ipvsadm服务前要保存负载分配策略，不然会报错！