Nginx+Tomcat负载均衡、动静分离
文章目录
- Nginx+Tomcat负载均衡、动静分离
-
- 1 反向代理
-
- 1.1 七层反向代理
- 1.2 四层反向代理
- 2 Nginx负载均衡模式
- 3 Nginx的会话保持
- 4 为什么使用动静分离
- 5 为什么使用负载均衡
- 6 正向代理和反向代理的区别
- 7 实验
-
- 7.1 七层反向代理
- 7.2 四层反向代理
- 7.3 七层反向代理和四层反向代理结合
-
- 7.3.1 部署虚拟机两个tomcat服务已开启
- 7.3.2 部署192.168.146.30 （1个tomcat服务已开启）
- 7.3.3 部署192.168.146.50 七层反向代理Nginx server
- 7.3.4 部署192.168.146.60 七层反向代理Nginx server
- 7.3.5 部署192.168.146.70 四层反向代理
Nginx+Tomcat负载均衡、动静分离
1 反向代理
1.1 七层反向代理
基于七层的http/https/mail等应用协议的代理
他是在http模块里面添加以upstream模块，在upstream里面定义服务器组名称，添加ip，端口号，权重（如果不添加的话，默认是1），可以在添加一个调度算法
并在http模块里面添加server模块，在里面用location来匹配URL路径，定义proxy_pass http://服务器组名称，用来将以。。。为结尾的请求转发给tomcat服务器集群
并且后端服务器需要获取真实的客户端的ip地址
http{
upstream 服务器组名称{
server IP1:PORT [weight=1 ...];
server IP2:PORT;
..........
调度算法（rr轮询/加权轮询，least_conn最小连接，ip_hash,url_hash,faire）;
}
server {
location ~ ...{
#将以***为结尾的请求转发给tomcat服务器集群
proxy_pass http://服务器组名称；
#用于后端服务器获取真实的客户端ip地址
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
}
1.2 四层反向代理
基于四层的ip+tcp/upd端口的代理
需要用到stream模块的，一般四层里面没有自带，需要编译安装一下
并在stream模块里面添加upstream +服务器名称，添加ip地址及端口号
定义server模块，里面添加listen 监听端口号，server_name 网站主机名，proxy_pass 服务器组名称
stream{
upstream fuwu服务器名称{
server IP1:PORT;
server IP2:PORT;
server IP3:PORT;
........
}
server{
listen 监听端口；
server_name 网站主机名；
proxy_pass 服务器组名称；
}
}
2 Nginx负载均衡模式
●rr 轮询 负载均衡模式：
每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。
●加权轮询 WRR ：
weight的值越大分配到的访问概率越高，主要用于后端每台服务器性能不均衡的情况下。或者仅仅为在主从的情况下设置不同的权值，达到合理有效的地利用主机资源。
●least_conn 最少连接：
优先将客户端请求调度到当前连接最少的服务器。
●ip_hash 负载均衡模式：
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash（使用后端服务器自身通过相关机制保持session同步）。
●fair（第三方）负载均衡模式：
按后端服务器的响应时间来分配请求，响应时间短的优先分配。
●url_hash（第三方）负载均衡模式：
基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好
3 Nginx的会话保持
## 1.ip_hash，url_hash
基于ip缓存或者url路径的缓存来进行的
ip_hash简单易用，但有如下问题：
- 当后端服务器宕机后，session会丢失；
- 来自同一局域网的客户端会被转发到同一个后端服务器，可能导致负载失衡；
- 不适用于CDN网络，不适用于前段还有代理的情况。
## 2.sticky_cookie_insert
基于客户端的cookie缓存来进行
使用sticky_cookie_insert启用会话亲缘关系，这会导致来自同一客户端的请求被传递到一组服务器在同一台服务器。与ip_hash不同之处在于，它不是基于IP来判断客户端的，而是基于cookie来判断。因此可以避免上述ip_hash中来自同一局域网的客户端和前段代理导致负载失衡的情况。
说明：
- expires：设置浏览器中保持cookie的时间
- domain：定义cookie的域
- path：为cookie定义路径
## 3.后端服务器做session共享，来实现会话保持
4 为什么使用动静分离
nginx比较擅长处理静态页面，其效率是tomcat的6倍左右，但是nginx不善于处理动态页面。 而tomcat 更擅长处理动态页面
静态页面内容相对稳定，容易被检索，同时，由于用户浏览是不需要经过程序的处理，所以浏览速度最快。但是，制作和维护工作量比较大。
当网站内容更新频繁时访问量非常大，内容变动频繁时，就需要使用动态。但是动态页面需要访问数据库，当访问量非常大，对程序需要处理的数据量就非常大，容易造成网站不稳定甚至瘫痪
因此，我们需要使用动静分离来管理网站。
5 为什么使用负载均衡
动态网站的页面上的信息都必须从数据库中读取,每打开一个页面就读取数据库一次,如果访问网站的人数很多,这会对服务器增加很大的荷载,从而影响这个网站的运行速度
所以，我们可以利用负载均衡集群，降低服务器的负载
6 正向代理和反向代理的区别
## 正向代理
是一个`位于客户端和目标服务器之间的服务器`，为了从目标服务器取得内容，客户端向代理发送一个请求并指定目标服务器，然后代理向目标服务器转交请求并将获得的内容返回给客户端。`代理服务器和客户端处于同一个局域网内。
比如说我要访问谷歌，于是我就告诉它让它帮我转发。
## 反向代理
实际运行方式是代理服务器接受网络上的连接请求。它将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给网络上请求连接的客户端 。代理服务器和目标服务器处于同一个局域网内。
比如说我要访问taobao，对我来说不知道图片、json、css 是不是同一个服务器返回回来的，但是我不关心，是反向代理 处理的，我不知道目标服务器。
7 实验
7.1 七层反向代理
实验准备：准备三台虚拟机
192.168.146.20 tomcat（两个）
192.168.146.30 tomcat
192.168.146.50 七层反向代理（nginx）
部署虚拟机（两个Tomcat部署完毕)
1.先安装好jdk
2.安装 tomcat
cd /opt
tar zxvf apache-tomcat-9.0.16.tar.gz
mv apache-tomcat-9.0.16 /usr/local/tomcat
cp -a /usr/local/tomcat /usr/local/tomcat1
3.部署环境变量
vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat
export CATALINA_BASE1=/usr/local/tomcat
export TOMCAT_HOME1=/usr/local/tomcat
#tomcat2
export CATALINA_HOME2=/usr/local/tomcat1
export CATALINA_BASE2=/usr/local/tomcat1
export TOMCAT_HOME2=/usr/local/tomcat1
source /etc/profile.d/tomcat.sh
4.修改 tomcat1 中的 server.xml 文件，要求各 tomcat 实例配置不能有重复的端口号
vim /usr/local/tomcat2/conf/server.xml
#22行，修改Server prot，默认为8005 -> 修改为8006
修改为8081
部署虚拟机，第三个Tomcat已开启
1.关闭防火墙，将安装 Tomcat 所需软件包传到/opt目录下
jdk-8u201-linux-x64.rpm
apache-tomcat-9.0.16.tar.gz
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2.安装jdk
cd /opt
rpm -qpl jdk-8u201-linux-x64.rpm
rpm -ivh jdk-8u201-linux-x64.rpm
java -version
3.设置JDK环境变量
vim /ect/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
suorce /etc/profile.d/java.sh
java -version
/etc/profile
4.安装启动Tomcat
cd /opt
tar zcvf apache-tomcat-9.0.16.tar.gz
mv apache-tomcat-9.0.16 /usr/local/tomcat
##启动tomcat ##
#后台启动
/usr/lcoal/tomcat/bin/startup.sh
或
/usr/lcoal/tomcat/bin/catalina.sh strat
#前台启动
/usr/local/tomcat/bin/catalina.sh run
netatst -natp | gerp 8080
浏览器访问Tomcat的默认主页 http://192.168.146.30:8080
部署七层反向代理
1.关闭防火墙，将安装nginx所需软件包传到/opt目录下
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
nginx-1.22.0.tar.gz
2.安装依赖包
#nginx的配置及运行需要pcre、zlib等软件包的支持，因此需要安装这些软件的开发包，以便提供相应的库和头文件。
yum -y install pcre-devel.x86_64 zlib-devel.x86_64 openssl-devel.x86_64 gcc gcc-c++ make
3.创建运行用户、组（Nginx 服务程序默认以 nobody 身份运行，建议为其创建专门的用户账号，以便更准确地控制其访问权限）
useradd -M -s /sbin/nologin nginx
4.编译安装Nginx
cd /opt
tar zxvf nginx-1.18.0.tar.gz -C /opt/
cd nginx-1.18.0/
./configure \
--prefix=/usr/local/nginx \ #指定nginx的安装路径
--user=nginx \ #指定用户名
--group=nginx \ #指定组名
--with-http_stub_status_module #启用 http_stub_status_module 模块以支持状态统计
操作
make -j 4 && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
5.启动nginx
/usr/local/nginx/sbin/nginx #启动nginx，使用绝对路径或者绝对路径
加入到system中去管理
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service
部署tomcat server
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
JSP test1 page #指定为 test1 页面
<% out.println("动态页面 1,http://www.test1.com");%>
vim /usr/local/tomcat/conf/server.xml
#由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置
部署两个tomcat server
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
JSP test2 page #指定为 test2 页面
<% out.println("动态页面 2,http://www.test2.com");%>
vim /usr/local/tomcat/conf/server.xml
#删除前面的 HOST 配置
/usr/local/tomcat/bin/shutdown.sh
/usr/local/tomcat/bin/startup.sh
mkdir /usr/local/tomcat1/webapps/test
vim /usr/local/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
JSP test3 page #指定为 test3 页面
<% out.println("动态页面 3,http://www.test3.com");%>
vim /usr/local/tomcat1/conf/server.xml
#删除前面的 HOST 配置
/usr/local/tomcat1/bin/shutdown.sh
/usr/local/tomcat1/bin/startup.sh
部署七层反向代理Nginx server
vim /usr/local/nginx/conf/nginx.conf
......
http {
......
#gzip on;
#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
upstream tomcat_server {
server 192.168.146.30:8080 weight=1;
server 192.168.146.20:8080 weight=1;
server 192.168.146.20:8081 weight=1;
}
server {
listen 80;
server_name www.kgc.com;
charset utf-8;
#access_log logs/host.access.log main;
#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
location ~ .*\.jsp$ {
proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
#配置Nginx处理静态图片请求
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
root /usr/local/nginx/html/img;
expires 10d;
}
location / {
root html;
index index.html index.htm;
}
......
}
......
}
测试静态页面效果
浏览器访问 http://192.168.146.20/game.html
测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.146.50/test/index.jsp
7.2 四层反向代理
需要重新编译安装
cd nginx-1.22.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-stream
make -j4 && make install
cd /usr/local/nginx/conf
vim nginx.conf
#与http同级
stream {
upstream appserver {
server 192.168.146.30:8080;
server 192.168.146.20:8080;
server 192.168.146.20:8081;
}
server {
listen 8080;
proxy_pass appserver;
}
}
systemctl restart nginx
测试负载均衡效果，不断刷新浏览器测试(由于tomcat设置了长连接，需要等待30m）
http:192.168.146.70:8080/test/index.jsp
7.3 七层反向代理和四层反向代理结合
目前所有的都已经安装nginx和tomcat
192.168.146.20 tomcat（两个）
192.168.146.30 tomcat
192.168.146.50 七层反向代理（nginx）
192.168.146.60 七层反向代理（nginx）
192.168.146.70 四层反向代理（nginx）
192.168.146.30 客户机
7.3.1 部署虚拟机两个tomcat服务已开启
1.先安装好jdk
2.安装 tomcat
cd /opt
tar zxvf apache-tomcat-9.0.16.tar.gz
mv apache-tomcat-9.0.16 /usr/local/tomcat
cp -a /usr/local/tomcat /usr/local/tomcat1
3.部署环境变量
vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat
export CATALINA_BASE1=/usr/local/tomcat
export TOMCAT_HOME1=/usr/local/tomcat
#tomcat2
export CATALINA_HOME2=/usr/local/tomcat1
export CATALINA_BASE2=/usr/local/tomcat1
export TOMCAT_HOME2=/usr/local/tomcat1
source /etc/profile.d/tomcat.sh
4.修改 tomcat1 中的 server.xml 文件，要求各 tomcat 实例配置不能有重复的端口号
vim /usr/local/tomcat2/conf/server.xml
#22行，修改Server prot，默认为8005 -> 修改为8006
修改为8081
修改各 tomcat和tomcat1 实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量
vim /usr/local/tomcat/bin/startup.sh
# -----------------------------------------------------------------------------
# Start Script for the CATALINA Server
# -----------------------------------------------------------------------------
##添加以下内容
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
vim /usr/local/tomcat/bin/shutdown.sh
# -----------------------------------------------------------------------------
# Stop script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
修改tomcat1
vim /usr/local/tomcat1/bin/startup.sh
# -----------------------------------------------------------------------------
# Start Script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
vim /usr/local/tomcat1/bin/shutdown.sh
# -----------------------------------------------------------------------------
# Stop script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
6.启动各 tomcat 中的 /bin/startup.sh
/usr/local/tomcat/bin/startup.sh
/usr/local/tomcat1/bin/startup.sh
netstat -antp | grep java
7.3.2 部署192.168.146.30 （1个tomcat服务已开启）
具体流程参考前面的七层反向代理
7.3.3 部署192.168.146.50 七层反向代理Nginx server
具体流程参考前面的七层反向代理
7.3.4 部署192.168.146.60 七层反向代理Nginx server
#准备静态页面和静态图片
cd /usr/local/nginx/html
vim game.html
this is nginx test2 web
vim /usr/local/nginx/conf/nginx.conf
......
http {
......
#gzip on;
#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
upstream tomcat_server {
server 192.168.146.30:8080 weight=1;
server 192.168.146.20:8080 weight=1;
server 192.168.146.20:8081 weight=1;
}
server {
listen 80;
server_name localhost;
charset utf-8;
#access_log logs/host.access.log main;
#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
location ~ .*\.jsp$ {
proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
#配置Nginx处理静态图片请求
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
root /usr/local/nginx/html/img;
expires 10d;
}
location / {
root html;
index index.html index.htm;
}
......
}
......
}
7.3.5 部署192.168.146.70 四层反向代理
测试访问
