Nginx+Tomcat负载均衡、动静分离群集

目录

前言 

一、Tomcat

1.1 tomcat 简介

1.2 Tomcat重要目录

二、Nginx负载均衡原理

2.1   Nginx应用

2.2   Nginx负载均衡实现原理

2.2.1 Nginx实现负载均衡是通过反向代理实现

2.2.2 反向代理原理

2.2.3  Nginx 配置反向代理的主要参数 

2.2.4  Nginx 实现负载均衡的策略：

2.3  Nginx动静分离实现原理

2.3.1   动静分离原理

2.3.2   Nginx静态处理优势 

2.4 Nginx 负载均衡模式

三、Nginx + Tomcat 动静分离、负载均衡配置步骤

3.1  准备三台服务器，Nginx作为负载均衡器，Tomcat作为应用服务器

3.2   部署Nginx负载均衡器

3.3  部署2台Tomcat 应用服务器

3.4  配置动静分离

3.4.1  Tomcat1    server 配置

3.4.2  Tomcat2 server 配置

3.4.3  Nginx server 配置

3.5  测试效果

扩展： 

四、nginx命令

五、总结

---

前言 

Nginx实现负载均衡是通过反向代理实现

Nginx服务器作为前端，Tomcat服务器作为后端，web页面请求由Nginx服务来进行转发。
但是不是把所有的web请求转发，而是将静态页面请求Nginx服务器自己来处理，动态页面请求，转发给后端的Tomcat服务器来处理。

据我们所知，Tomcat是属于轻量级的应用服务器，可接受访问量可能会不足，所以我们需要多台Tomcat服务器，然后通过Nginx配置权重来进行挑选Tomcat服务器去进行处理，负载均衡的一种策略。

一、Tomcat

1.1 tomcat 简介

最初是由Sun的软件构架师詹姆斯邓肯戴维森开发

安装Tomcat后，安装路径下面的目录和文件，是使用或者配置Tomcat的重要文件

1.2 Tomcat重要目录

目录	作用
bin	存放启动和关闭Tomcat脚本
conf	存放Tomcat不同的配置文件
doc	存放Tomcat文档
lib	存放Tomcat运行需要的库文件
logs	存放Tomcat执行时的LOG文件
src	存放Tomcat的源代码
webapps	Tomcat的主要Web发布目录
work	存放jsp编译后产生的class文件

二、Nginx负载均衡原理

2.1   Nginx应用

Nginx是一款非常优秀的HTTP服务器软件，它具有以下优点：

• 支持高达50000个并发连接数的响应
• 拥有强大的静态资源处理能力
• 运行稳定
• 内存、CPU等系统资源消耗非常低

目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力。

2.2   Nginx负载均衡实现原理

2.2.1 Nginx实现负载均衡是通过反向代理实现

代理方式	介绍
正向代理	代理的是客户端，是基于IP+PROT(TCP/UDP)转发
反向代理	代理的是服务端，是基于http/https/mail等代理转发

2.2.2 反向代理原理

反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。

反向代理是为服务端服务的，反向代理可以帮助服务器接收来自客户端的请求，帮助服务器做请求转发，负载均衡等。

反向代理对服务端是透明的，对我们是非透明的，即我们并不知道自己访问的是代理服务器，而服务器知道反向代理在为他服务。

反向代理的方式

四层反向代理    是基于IP+PROT(TCP/UDP)转发
七层反向代理    是基于http/https/mail等代理转发

2.2.3  Nginx 配置反向代理的主要参数 

upstream 服务池名 { }

• 配置后端服务器池，以提供响应数据

proxy_pass http://服务池名

• 配置将访问请求转发给后端服务器池的服务器处理

2.2.4  Nginx 实现负载均衡的策略：

• 轮询策略：默认情况下采用的策略，将所有客户端请求轮询分配给服务端。这种策略是可以正常工作的，但是如果其中某一台服务器压力太大，出现延迟，会影响所有分配在这台服务器下的用户。
• 最小连接数策略：将请求优先分配给压力较小的服务器，它可以平衡每个队列的长度，并避免向压力大的服务器添加更多的请求。
• 最快响应时间策略：优先分配给响应时间最短的服务器。
• 客户端 ip 绑定策略：来自同一个 ip 的请求永远只分配一台服务器，有效解决了动态网页存在的 session 共享问题。

2.3  Nginx动静分离实现原理

动静分离是指在 web 服务器架构中，将静态页面与动态页面或者静态内容接口和动态内容接口分开不同系统访问的架构设计方法，进而提示整个服务的访问性和可维护性。

2.3.1   动静分离原理

服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由nginx提供服务，动态资源nginx转发至后端

2.3.2   Nginx静态处理优势 

• Nginx处理静态页面的效率远高于Tomcat的处理能力

• 若Tomcat的请求量为1000次，则Nginx的请求量为6000次

• Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M

• Nginx处理静态资源的能力是Tomcat处理的6倍

2.4 Nginx 负载均衡模式

1、rr 负载均衡模式：
每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。

2、least_conn 最少连接：
优先将客户端请求调度到当前连接最少的服务器。

3、ip_hash 负载均衡模式：
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash。

4、fair（第三方）负载均衡模式：
按后端服务器的响应时间来分配请求，响应时间短的优先分配。

5、url_hash（第三方）负载均衡模式：
基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。

三、Nginx + Tomcat 动静分离、负载均衡配置步骤

• 以Nginx作为负载均衡器，Tomcat作为应用服务器
•  环境配置

主机	操作系统	IP地址	主要软件
Nginx服务器	CentOS7.3x86_64	192.168.111.30	nginx-1.12.0.tar.gz
Tomcat服务器1	CentOS7.3x86_64	192.168.111.40	apache-tomcat-7.0.54.tar.gz
Tomcat服务器2	CentOS 7.3 x86_64	192.168.111.20	apache-tomcat-7.0.54.tar.gz

3.1  准备三台服务器，Nginx作为负载均衡器，Tomcat作为应用服务器

Nginx 服务器：192.168.111.30：80
Tomcat服务器1：192.168.111.40:8080
Tomcat服务器2：192.168.111.20:8080  192.168.111.20:8081

3.2   部署Nginx负载均衡器

systemctl stop firewalld
setenforce 0

yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make

useradd -M -s /sbin/nologin nginx

cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/

cd nginx-1.12.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \									#启用文件修改支持
--with-http_stub_status_module \					#启用状态统计
--with-http_gzip_static_module \					#启用 gzip静态压缩
--with-http_flv_module \							#启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module	\                           #启用 SSL模块，提供SSL加密功能
--with-stream		                                #启用 stream模块，提供4层调度							----------------------------------------------------------------------------------------------------------
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module  --with-stream	

make && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

 

3.3  部署2台Tomcat 应用服务器

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

#安装JDK
cd /opt
rpm -ivh jdk-8u201-linux-x64.rpm

#设置JDK环境变量
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH' > /etc/profile.d/java.sh

source /etc/profile

#安装并启动Tomcat
cd /opt
tar zxvf apache-tomcat-9.0.16.tar.gz
mv apache-tomcat-9.0.16 /usr/local/tomcat
/usr/local/tomcat/bin/startup.sh

注：两台Tomcat应用服务器都可以这样做

3.4  配置动静分离

3.4.1  Tomcat1    server 配置

mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   #指定为test1页面


<% out.println("动态页面 1,http://www.test1.com");%>


------------------------------
vim /usr/local/tomcat/conf/server.xml
#由于主机名name配置都为localhost，需要删除前面的HOST配置

	
	


/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh 

3.4.2  Tomcat2 server 配置

mkdir /usr/local/tomcat1/webapps/test /usr/local/tomcat2/webapps/test
------------------------------
vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   #指定为test2页面


<% out.println("动态页面 2,http://www.test2.com");%>


------------------------------
vim /usr/local/tomcat1/conf/server.xml
#删除前面的HOST配置

	


/usr/local/tomcat1/bin/shutdown.sh 
/usr/local/tomcat1/bin/startup.sh 
------------------------------
vim /usr/local/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   #指定为test3页面


<% out.println("动态页面 3,http://www.test3.com");%>


------------------------------
vim /usr/local/tomcat/tomcat2/conf/server.xml
#删除前面的HOST配置

	


/usr/local/tomcat2/bin/shutdown.sh 
/usr/local/tomcat2/bin/startup.sh 

3.4.3  Nginx server 配置

#准备静态页面和静态图片
echo '  ##添加字符集
这是静态页面
' > /usr/local/nginx/html/index.html
/usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/img
cp /root/huoche.jpg /usr/local/nginx/html/img

vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;	
	#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
	###upstream 是地址池
        upstream tomcat_server {
		server 192.168.111.40:8080 weight=1;
		server 192.168.111.20:8080 weight=1;
		server 192.168.111.20:8081 weight=1;
	}
    
	server {
		listen 80;
		server_name www.jzm.com;
		charset utf-8;
		#access_log logs/host.access.log main;		
		#配置Nginx处理动态页面请求，将.jsp文件请求转发到Tomcat服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;
            #设置后端的Web服务器可以获取远程客户端的真实IP
#设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。
如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来在反向代理服务器，如果后端有防袭击策略的话，那么机器就被封掉了。
			proxy_set_header HOST $host;
            #把$remote_addr赋值给X-Real-IP，来获取源IP
			proxy_set_header X-Real-IP $remote_addr;
            #在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		}		
		#配置Nginx处理静态图片请求
		location ~ .*\.(gif|jpg|jpeg|png)$ {
			root /usr/local/nginx/html/img;
			expires 10d;
		}	
		location / {
			root html;
			index index.html index.htm;
		}

systemctl restart nginx.service #重启服务

3.5  测试效果

测试静态页面效果
浏览器访问 http://192.168.111.30/
浏览器访问 http://192.168.111.30/huoche.jpg

测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.111.20/test/index.jsp

 

扩展： 

Nginx 四层代理配置：

##添加配置模块   stream 
./configure --with-stream

和http同等级：所以一般只在http上面一段设置，
stream {
	
    upstream appserver {
		server 192.168.111.40:8080 weight=1;
		server 192.168.111.20:8080 weight=1;
		server 192.168.111.20:8081 weight=1;
    }
    server {
        listen 8080;
        proxy_pass appserver;
    }
}

http {

网页测试

四、nginx命令

 要启动nginx直接运行nginx文件，启动后可以使用以下命令。

nginx -s [options]

例如，/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf（带配置文件参数的启动nginx）

options参数可以是下面之一：

• stop - 快速关机
• quit - 优雅的关机 (等待工作进程完成当前请求的服务时，停止nginx进程)
• reload- 重新加载配置文件 (当nginx配置发生更改的时候，需要指定该命令才会生效。一旦主进程收到该命令，它将首先检查配置文件的语法正确性然后尝试应用新的配置，如果应用成功，主进程将会启动新的工作进程的同时向旧工作进程发送关闭请求，否则的话主进程将回滚更改继续使用旧的配置。当旧进程接收关闭命令，旧进程会停止接收新的请求同时完成正在处理的请求，最后旧工作进程退出)
• reopen - 重新打开日志文件

查看nginx进程的列表
ps -ax
该命令可以看到所有进程包括进程ID，默认情况下主进程的ID将写入nginx.pid目录，

如果需要正常关闭某个进程，执行命令：kill -s QUIT 进程ID

参数详解：

sudo nginx   #启动 nginx
nginx -s    reload|reopen|stop|quit    #重新加载配置|重启|停止|退出
nginx -t   #测试配置文件

nginx [-?hvVtq] [-s signal] [-c filename] [-p prefix] [-g directives]

-?,-h           : 打开帮助信息
-v               : 显示版本信息并退出
-V               : 显示版本和配置选项信息，然后退出
-t                : 检测配置文件是否有语法错误，然后退出
-q               : 在检测配置文件期间屏蔽非错误信息
-s signal       : 给一个 nginx 主进程发送信号：stop（停止）, quit（退出）, reopen（重启）, reload（重新加载配置文件）
-p prefix        : 设置前缀路径（默认是：/usr/local/Cellar/nginx/1.2.6/）
-c filename      : 设置配置文件（默认是：/usr/local/etc/nginx/nginx.conf）
-g directives    : 设置配置文件外的全局指令

五、总结

1. Nginx负载均衡实现原理：通过反向代理实现的

        反向代理：可以帮助服务器接收来自客户端的请求，帮助服务器做请求转发，负载均衡等

2. Nginx动静分离原理：服务端节后来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务，动态资源Nginx转发至后端。

3. 负载均衡技术在现有网络结构之上提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。它有两方面的含义：首先，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间；其次，单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高