【集群】LVS负载均衡群集
文章目录
- 前言
- 一、企业群集应用概述
-
- 1. 群集的含义
-
- 1.1 群集的特点
- 1.2 扩展服务器的方式
- 2. 群集的类型
-
- 2.1 负载均衡群集（Load Balance Cluster）
- 2.2 高可用群集（High Availability Cluster）
- 2.3 高性能运算群集（High Performance Computer Cluster）
- 3. 负载均衡的结构
- 4. 负载均衡集群工作模式分析
-
- 4.1 NAT模式（地址转换）
- 4.2 TUN模式（IP隧道）
- 4.3 DR模式（直接路由）
- 二、LVS-NAT 的部署
-
- 1. 关于 LVS 虚拟服务器
- 2. LVS的负载调度算法
-
- 2.1 轮询（Round Robin）
- 2.2 加权轮询（Weighted Round Robin）
- 2.3 最少连接（Least Connections）
- 2.4 加权最少连接（Weighted Least Connections）
- 3. 使用 ipvsadm 工具
- 4. LVS-NAT 部署实战
-
- 4.1 配置环境
- 4.2 部署服务器
-
- 配置ip地址和网卡
- Web服务器1（192.168.145.30）配置
- Web服务器2（192.168.145.45）配置
- tomcat服务器（192.168.145.60）配置
- 动静分离设置
- LVS负载调度器（ens32：192.168.145.20；ens36：12.0.0.20）
- 使用win系统虚拟机测试
前言
互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求。
如果使用小型机、大型机，价格比较昂贵，所以大多数企业会使用多台相对廉价的普通服务器构建服务群集。通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并已同一个IP地址对外提供相同的服务。
在企业中常用的一种群集技术——LVS（Linux Virtual Server，Linux虚拟服务器）。
一、企业群集应用概述
1. 群集的含义
Cluster（集群、群集），由多台主机构成，但对外只表现为要给整体，只提供一个访问入口（域名和IP地址），相当于一个大型计算机。
1.1 群集的特点
- 由多台主机构成；
- 都干同样的一件事；
- 对外展现是一个整体。
1.2 扩展服务器的方式
- 纵向扩展：添加服务器硬件。
- 横向扩展：添加服务器的数量。
2. 群集的类型
根据群集所针对的目标差异，可分为三种类型：负载均衡群集、高可用群集、高性能运算群集。
2.1 负载均衡群集（Load Balance Cluster）
提高应用系统的响应能力、尽可能处理更多的访问请求减少延迟为目标，获得高并发、高负载（LB）的整体性能。
LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。根据软件类来分应用，代表是LVS、Nginx、HAproxy；根据硬件类来分应用，代表的是F5、绿盟。
2.2 高可用群集（High Availability Cluster）
提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA)的容错效果。
HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。应用代表是Keepalived、heartbeat。
2.3 高性能运算群集（High Performance Computer Cluster）
以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力。
高性能依赖于分布式运算、并行计算，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。主要代表云计算、网格计算等。
3. 负载均衡的结构
第一层：载调度器 （Load Balancer或Director）
访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集 IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。
第二层：服务器池（Server Pool）
群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址（真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。
第三层：共享存储（Share Storage）
为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性共享存储可以使用 NAS设备，或者提供NFS共享服务的专用服务器。
4. 负载均衡集群工作模式分析
负载均衡集群是目前企业用得最多的群集类型。在生产环境中，集群的负载调度技术有三种工作模式分别是NAT模式、TUN模式、DR模式。
4.1 NAT模式（地址转换）
类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的默认网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口服务器节点使用私有IP地址，也就是说调度器会承载双向数据的负载压力，可能会成为整个集群的性能瓶颈。
由于节点服务器都处于内网环境，使用私网IP地址，所以安全性尚可。
4.2 TUN模式（IP隧道）
IP Tunnel，简称TUN模式。采用开放式的网络结构，负载调度器仅作为客户几的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。
由于服务器节点分散在不同为的公网环境中，需要具有独立的公网IP地址，调度器通过专用IP隧道与节点服务器相互通信。因此IP隧道模式的成本较高、安全性较低，且IP隧道需要更多的封装和解封装过程，性能也会收到影响。
4.3 DR模式（直接路由）
Direct Routing，简称DR模式。采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。
节点服务器与调度器是部署在同一个局域网内，因此不需要建立专用的IP隧道。DR模式是企业的首选。
二、LVS-NAT 的部署
1. 关于 LVS 虚拟服务器
针对Linux内核开发的负载均衡解决方案。1998年5月，由我国的章文嵩博士创建。它的官方网站： http://www.linuxvirtualserver.org/。LVS（Linux Virtual Server）实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。
LVS现在已成为 Linux 内核的一部分，默认编译为 ip_vs 模块必要时能够自动调用。在 CentOS 7 系统中，以下操作可以手动加载ip_vs 模块，并查看当前系统中 ip_vs 模块的版本信息。
###确认内核对LVS的支持
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConns
一次性加载所有模块的方式。
###进入所有模块目录
[root@localhost ~]#cd /usr/lib/modules/3.10.0-1160.el7.x86_64/kernel/net/netfilter/ipvs/
###查询方式
[root@localhost ipvs]#for i in $(ls *);do echo $i | awk -F. '{print $1}';done
[root@localhost ipvs]#for i in $(ls * | awk -F. '{print $1}');do echo $i;done
[root@localhost ipvs]#ls * | grep -o "^[^.]*"
[root@localhost ipvs]#for i in $(ls *); do echo ${i%%.*};done
2. LVS的负载调度算法
2.1 轮询（Round Robin）
将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。
2.2 加权轮询（Weighted Round Robin）
根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多。
保证性能强的服务器承担更多的访问流量。
2.3 最少连接（Least Connections）
根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。
2.4 加权最少连接（Weighted Least Connections）
在服务器节点的性能差异较大时，可以为真实服务器自动调整权重。
性能较高的节点将承担更大比例的活动连接负载。
3. 使用 ipvsadm 工具
LVS群集创建与管理流程：常见虚拟服务器——>添加删除服务器节点——>查看群集及节点情况——>保存负载分配策略。
ipvsadm工具选项说明
| 选项 | 含义 |
|---|---|
-A |
添加虚拟服务器 |
-D |
删除整个虚拟服务器 |
-s |
指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc） |
-a |
表示添加真实服务器（节点服务器） |
-d |
删除某一个节点 |
-t |
指定VIP地址及TCP端口 |
-r |
指定RIP地址及TCP端口 |
-m |
表示使用NAT群集模式 |
-g |
表示使用DR模式 |
-i |
表示使用TUN模式 |
-w |
设置权重（权重为0时表示暂停节点） |
-p 60 |
表示保持长连接60秒 |
-l |
列表查看LVS虚拟服务器（默认为查看所有） |
-n |
以数字形式显示地址、端口等信息，常与-l选项组合使用 |
4. LVS-NAT 部署实战
4.1 配置环境
LVS调度器作为Web服务器池的网关，LVS两块网卡，分别连接外网，使用轮询（rr）调度算法。
LVS负载调度器：ens32：192.168.145.20 ens36：12.0.0.20（vmnet1）
Web 节点服务器1：192.168.145.30
Web 节点服务器2：192.168.145.45
tomcat 多实例服务器：192.168.145.60
客户端（win10）：12.0.0.120 （vmnet1）
4.2 部署服务器
配置ip地址和网卡
LVM负载调度器
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.145.20
NETMASK=255.255.255.0
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=12.0.0.20
NETMASK=255.255.255.0
[root@localhost ~]# systemctl restart network
[root@localhost ~]# ifconfig
ens33: flags=4163 mtu 1500
inet 192.168.145.20 netmask 255.255.255.0 broadcast 192.168.145.255
inet6 fe80::c8e2:a658:18d3:92cd prefixlen 64 scopeid 0x20
ether 00:0c:29:20:88:32 txqueuelen 1000 (Ethernet)
RX packets 1293 bytes 117773 (115.0 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 896 bytes 105284 (102.8 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens32: flags=4163 mtu 1500
inet 12.0.0.20 netmask 255.255.255.0 broadcast 12.0.0.255
inet6 fe80::e7d:fb55:adfc:c796 prefixlen 64 scopeid 0x20
ether 00:0c:29:20:88:3c txqueuelen 1000 (Ethernet)
RX packets 419 bytes 59274 (57.8 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 143 bytes 19410 (18.9 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
Web服务器1
[root@localhost conf]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR=192.168.145.45
NETMASK=255.255.255.0
GATEWAY=192.168.145.20
[root@localhost conf]# systemctl restart network
Web服务器2
[root@localhost conf]# vim /etc/sysconfig/network-scripts/ifcfg-ens32
IPADDR=192.168.145.60
NETMASK=255.255.255.0
GATEWAY=192.168.145.20
[root@localhost conf]# systemctl restart network
Web服务器1（192.168.145.30）配置
环境配置
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled
编译安装nginx
[root@localhost ~]# yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
[root@localhost ~]# useradd -M -s /sbin/nologin nginx
[root@localhost ~]# cd /opt/
[root@localhost opt]# ls
nginx-1.24.0.tar.gz rh
[root@localhost opt]# tar xf nginx-1.24.0.tar.gz
[root@localhost opt]# ls
nginx-1.24.0 nginx-1.24.0.tar.gz rh
[root@localhost opt]# cd nginx-1.24.0/
[root@localhost nginx-1.24.0]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \ #启用文件修改支持
--with-http_stub_status_module \ #启用状态统计
--with-http_gzip_static_module \ #启用 gzip静态压缩
--with-http_flv_module \ #启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module #启用 SSL模块，提供SSL加密功能
--with-stream #启用 stream模块，提供4层调度
###编译安装
[root@localhost nginx-1.24.0]# make -j2 && make install
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-stream
添加nginx服务
###把nginx服务的可执行程序文件放入路径环境变量的目录中便于系统识别
[root@localhost ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
###修改nginx服务的配置文件
[root@localhost nginx-1.24.0]# vim /lib/systemd/system/nginx.service
[Unit] #服务的说明
Description=nginx #描述服务
After=network.target #依赖，当依赖的服务启动之后再启动自定义的服务
[Service] #服务运行参数的设置
Type=forking #是后台运行的形式，使用此启动类型应同时指定
PIDFile=/usr/local/nginx/logs/nginx.pid #PID文件位置以便systemd能够跟踪服务的主进程
ExecStart=/usr/local/nginx/sbin/nginx #服务的具体运行命令
ExecReload=/bin/kill -s HUP $MAINPID #重启命令
ExecStop=/bin/kill -s QUIT $MAINPID #停止命令
PrivateTmp=true #给服务分配独立的临时空间
[Install] #服务安装的相关设置
WantedBy=multi-user.target #可设置为多用户
###给予文件权限
[root@localhost ~]# chmod 754 /lib/systemd/system/nginx.service
###启动nginx服务
[root@localhost ~]# systemctl start nginx.service
###开机自启nginx服务
[root@localhost ~]# systemctl enable nginx.service
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
Web服务器2（192.168.145.45）配置
环境配置
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled
编译安装nginx
[root@localhost ~]# yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
[root@localhost ~]# useradd -M -s /sbin/nologin nginx
[root@localhost ~]# cd /opt/
[root@localhost opt]# ls
nginx-1.24.0.tar.gz rh
[root@localhost opt]# tar xf nginx-1.24.0.tar.gz
[root@localhost opt]# ls
nginx-1.24.0 nginx-1.24.0.tar.gz rh
[root@localhost opt]# cd nginx-1.24.0/
[root@localhost nginx-1.24.0]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \ #启用文件修改支持
--with-http_stub_status_module \ #启用状态统计
--with-http_gzip_static_module \ #启用 gzip静态压缩
--with-http_flv_module \ #启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module #启用 SSL模块，提供SSL加密功能
--with-stream #启用 stream模块，提供4层调度
###编译安装
[root@localhost nginx-1.24.0]# make -j2 && make install
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-stream
添加nginx服务
###把nginx服务的可执行程序文件放入路径环境变量的目录中便于系统识别
[root@localhost ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
###修改nginx服务的配置文件
[root@localhost nginx-1.24.0]# vim /lib/systemd/system/nginx.service
[Unit] #服务的说明
Description=nginx #描述服务
After=network.target #依赖，当依赖的服务启动之后再启动自定义的服务
[Service] #服务运行参数的设置
Type=forking #是后台运行的形式，使用此启动类型应同时指定
PIDFile=/usr/local/nginx/logs/nginx.pid #PID文件位置以便systemd能够跟踪服务的主进程
ExecStart=/usr/local/nginx/sbin/nginx #服务的具体运行命令
ExecReload=/bin/kill -s HUP $MAINPID #重启命令
ExecStop=/bin/kill -s QUIT $MAINPID #停止命令
PrivateTmp=true #给服务分配独立的临时空间
[Install] #服务安装的相关设置
WantedBy=multi-user.target #可设置为多用户
###给予文件权限
[root@localhost ~]# chmod 754 /lib/systemd/system/nginx.service
###启动nginx服务
[root@localhost ~]# systemctl start nginx.service
###开机自启nginx服务
[root@localhost ~]# systemctl enable nginx.service
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
tomcat服务器（192.168.145.60）配置
安装jdk
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# cd /opt/
[root@localhost opt]# ls
apache-tomcat-9.0.16.tar.gz jdk-8u91-linux-x64.tar.gz rh
###解压
[root@localhost opt]# tar xf jdk-8u91-linux-x64.tar.gz
[root@localhost opt]# mv jdk1.8.0_91/ /usr/local/
[root@localhost opt]# cd
[root@localhost ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=$JAVA_HOME/jre
export CATALINA=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=%JAVA_HOME/bin:$JRE_HOME/bin:$PATH
###加载文件
[root@localhost ~]# source /etc/profile
[root@localhost ~]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)
安装 tomcat
[root@localhost opt]# tar zxvf apache-tomcat-9.0.16.tar.gz
###创建目录
[root@localhost opt]# mkdir /usr/local/tomcat
###移动tomcat到/usl/local/tomcat/改名为tomcat1
[root@localhost opt]# mv apache-tomcat-9.0.16 /usr/local/tomcat/tomcat1
###复制 tomcat1 改名为 tomcat2
[root@localhost opt]# cd /usr/local/tomcat/
[root@localhost tomcat]# ls
tomcat1
[root@localhost tomcat]# cp -a tomcat1/ tomcat2/
[root@localhost tomcat]# ls
tomcat1 tomcat2
配置tomcat环境变量
[root@localhost ~]# vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat/tomcat1
export CATALINA_BASE1=/usr/local/tomcat/tomcat1
export TOMCAT_HOME1=/usr/local/tomcat/tomcat1
#tomcat2
export CATALINA_HOME2=/usr/local/tomcat/tomcat2
export CATALINA_BASE2=/usr/local/tomcat/tomcat2
export TOMCAT_HOME2=/usr/local/tomcat/tomcat2
[root@localhost ~]# source /etc/profile.d/tomcat.sh
修改 tomcat2 中的 server.xml 文件，要求各 tomcat 实例配置不能有重复的端口号
[root@localhost ~]# vim /usr/local/tomcat/tomcat2/conf/server.xml
###22行，修改Server prot，默认为8005 -> 修改为8006
###69行，修改Connector port，HTTP/1.1 默认为8080 -> 修改为8081
修改为8010
修改各 tomcat 实例中的 startup.sh 和 shutdown.sh 文件
[root@localhost ~]# vim /usr/local/tomcat/tomcat1/bin/startup.sh
# -----------------------------------------------------------------------------
# Start Script for the CATALINA Server
# -----------------------------------------------------------------------------
##添加以下内容
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
[root@localhost ~]# vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
# -----------------------------------------------------------------------------
# Stop script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
[root@localhost ~]# vim /usr/local/tomcat/tomcat2/bin/startup.sh
# -----------------------------------------------------------------------------
# Start Script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
[root@localhost ~]# vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
# -----------------------------------------------------------------------------
# Stop script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
启动各 tomcat 中的 /bin/startup.sh
[root@localhost ~]# /usr/local/tomcat/tomcat1/bin/startup.sh
Using CATALINA_BASE: /usr/local/tomcat/tomcat1
Using CATALINA_HOME: /usr/local/tomcat/tomcat1
Using CATALINA_TMPDIR: /usr/local/tomcat/tomcat1/temp
Using JRE_HOME: /usr
Using CLASSPATH: /usr/local/tomcat/tomcat1/bin/bootstrap.jar:/usr/local/tomcat/tomcat1/bin/tomcat-juli.jar
Tomcat started.
[root@localhost ~]# /usr/local/tomcat/tomcat2/bin/startup.sh
Using CATALINA_BASE: /usr/local/tomcat/tomcat2
Using CATALINA_HOME: /usr/local/tomcat/tomcat2
Using CATALINA_TMPDIR: /usr/local/tomcat/tomcat2/temp
Using JRE_HOME: /usr
Using CLASSPATH: /usr/local/tomcat/tomcat2/bin/bootstrap.jar:/usr/local/tomcat/tomcat2/bin/tomcat-juli.jar
Tomcat started
[root@localhost ~]# netstat -lntp | grep java
tcp6 0 0 :::8080 :::* LISTEN 12737/java
tcp6 0 0 :::8081 :::* LISTEN 12802/java
tcp6 0 0 127.0.0.1:8005 :::* LISTEN 12737/java
tcp6 0 0 127.0.0.1:8006 :::* LISTEN 12802/java
tcp6 0 0 :::8009 :::* LISTEN 12737/java
tcp6 0 0 :::8010 :::* LISTEN
动静分离设置
Tomcat服务器
配置测试文件tomcat1
[root@localhost ~]# mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test
[root@localhost ~]# vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
JSP test2 page
动态页面2
##备份
[root@localhost ~]# cp /usr/local/tomcat/tomcat1/conf/server.xml /usr/local/tomcat/tomcat1/conf/server.xml.bak
[root@localhost ~]# vim /usr/local/tomcat/tomcat1/conf/server.xml
###删除前面的 HOST 配置
配置测试文件tomcat2
[root@localhost ~]# vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
JSP test3 page
动态页面3
###备份
[root@localhost ~]# cp /usr/local/tomcat/tomcat2/conf/server.xml /usr/local/tomcat/tomcat2/conf/server.xml.bak
[root@localhost ~]#vim /usr/local/tomcat/tomcat2/conf/server.xml
###删除前面的 HOST 配置
重新启动服务
[root@localhost ~]# /usr/local/tomcat/tomcat1/bin/shutdown.sh
[root@localhost ~]# /usr/local/tomcat/tomcat1/bin/startup.sh
[root@localhost ~]# /usr/local/tomcat/tomcat2/bin/shutdown.sh
[root@localhost ~]# /usr/local/tomcat/tomcat2/bin/startup.sh
Web服务器1
准备静态页面和静态图片
[root@localhost ~]# echo '这是静态页面1
' > /usr/local/nginx/html/index.html
[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf
......
http {
......
#gzip on;
#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
upstream tomcat_server {
server 192.168.145.60:8080 weight=1;
server 192.168.145.60:8081 weight=1;
}
server {
listen 80;
server_name www.accp.com;
charset utf-8;
#access_log logs/host.access.log main;
#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
location ~ .*\.jsp$ {
proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
#配置Nginx处理静态图片请求
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
root /usr/local/nginx/html/img;
expires 10d;
}
location / {
root html;
index index.html index.htm;
}
......
}
......
}
重启服务
[root@localhost img]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@localhost img]# systemctl restart nginx.service
Web服务器2
准备静态页面和静态图片
[root@localhost ~]# echo '这是静态页面1
' > /usr/local/nginx/html/index.html
[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf
......
http {
......
#gzip on;
#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
upstream tomcat_server {
server 192.168.145.60:8080 weight=1;
server 192.168.145.60:8081 weight=1;
}
server {
listen 80;
server_name www.accp.com;
charset utf-8;
#access_log logs/host.access.log main;
#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
location ~ .*\.jsp$ {
proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
#配置Nginx处理静态图片请求
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
root /usr/local/nginx/html/img;
expires 10d;
}
location / {
root html;
index index.html index.htm;
}
......
}
......
}
重启服务
[root@localhost img]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@localhost img]# systemctl restart nginx.service
LVS负载调度器（ens32：192.168.145.20；ens36：12.0.0.20）
关闭环境配置
[root@localhost ~]# systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
配置SNAT转发规则
[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 1
[root@localhost ~]# iptables -F
[root@localhost ~]# iptables -t nat -A POSTROUTING -s 192.168.145.0/24 -o ens32 -j SNAT --to-source 12.0.0.20
加载LVS内核模块
###加载 ip_vs模块
[root@localhost ~]# modprobe ip_vs
###查看 ip_vs版本信息
[root@localhost ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
安装ipvsadm 管理工具（本地yum源安装）
[root@localhost ~]# yum -y install ipvsadm
###启动服务前须保存负载分配策略
[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
###启动服务
[root@localhost ~]# systemctl start ipvsadm.service
配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）
#清除原有策略
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 12.0.0.20:80 -s rr
[root@localhost ~]# ipvsadm -a -t 12.0.0.20:80 -r 192.168.145.45:80 -m
[root@localhost ~]# ipvsadm -a -t 12.0.0.20:80 -r 192.168.145.30:80 -m
###启动策略
[root@localhost ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP localhost.localdomain:http rr
-> 192.168.145.30:http Masq 1 0 0
-> 192.168.145.45:http Masq 1 0 0
###查看节点状态，Masq代表 NAT模式
[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP localhost.localdomain:http rr
-> 192.168.145.30:http Masq 1 0 0
-> 192.168.145.45:http Masq 1 0 0
###保存策略
[root@localhost ~]# ipvsadm-save > /opt/ipvsadm
ipvsadm -d -t 12.0.0.20:80 -r 192.168.145.45:80 #删除群集中某一节点服务器
ipvsadm -D -t 12.0.0.20:80 #删除整个虚拟服务器
systemctl stop ipvsadm #停止服务（清空策略），如果selinux没关闭/etc/sysconfig/ipvsadm内容也会清空
systemctl start ipvsadm #启动服务（根据/etc/sysconfig/ipvsadm恢复策略）
ipvsadm-restore < /opt/ipvsadm #恢复LVS 策略
使用win系统虚拟机测试
修改ip地址、子网掩码、默认网关
在一台IP为12.0.0.120的客户机使用浏览器访问 http://12.0.0.20/ ，不断刷新浏览器测试负载均衡效果，刷新间隔需长点（或者关闭Web服务的连接保持）。
