Nginx+Tomcat实现负载均衡、动静分离集群部署

一、Tomcat多实例部署

1、安装好JDK

关闭防火墙
安装jdk
rpm检查
rpm安装

2、安装tomcat

cd /opt
tar zxvf apache-tomcat-9.0.16.tar.gz
mkdir /usr/local/tomcat
mv apache-tomcat-9.0.16 /usr/local/tomcat/tomcat1
cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2

3、配置tomcat环境变量

vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat/tomcat1
export CATALINA_BASE1=/usr/local/tomcat/tomcat1
export TOMCAT_HOME1=/usr/local/tomcat/tomcat1

#tomcat2
export CATALINA_HOME2=/usr/local/tomcat/tomcat2
export CATALINA_BASE2=/usr/local/tomcat/tomcat2
export TOMCAT_HOME2=/usr/local/tomcat/tomcat2


source /etc/profile.d/tomcat.sh

4、修改tomcat2中的server.xml文件，要求各tomcat实例配置不能有重复的端口号

vim /usr/local/tomcat/tomcat2/conf/server.xml
		#22行，修改Server prot，默认为8005 -> 修改为8006
 修改为8081
	#116行，修改Connector port AJP/1.3，默认为8009 -> 修改为8010

5、修改各tomcat实例中的startup.sh和shutdown.sh文件，添加tomcat环境变量

vim /usr/local/tomcat/tomcat1/bin/startup.sh 
# -----------------------------------------------------------------------------
# Start Script for the CATALINA Server
# -----------------------------------------------------------------------------
##添加以下内容
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1


vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
# -----------------------------------------------------------------------------
# Stop script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1


vim /usr/local/tomcat/tomcat2/bin/startup.sh 
# -----------------------------------------------------------------------------
# Start Script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2


vim /usr/local/tomcat/tomcat2/bin/shutdown.sh
# -----------------------------------------------------------------------------
# Stop script for the CATALINA Server
# -----------------------------------------------------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2

6、启动各tomcat中的/bin/startup.sh

/usr/local/tomcat/tomcat1/bin/startup.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 

netstat -natp | grep java

7、浏览器访问测试

http://192.168.24.72:8080
http://192.168.24.72:8081

二、Nginx负载均衡

1、Nginx应用

• Nginx是一款非常优秀的HTTP服务器软件
  • 支持高达50000个并发连接数的响应
  • 拥有强大的静态资源处理能力
  • 运行稳定
  • 内存、CPU等系统资源消耗非常低
• 目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力

2、Nginx负载均衡实现原理

Nginx实现负载均衡是通过反向代理实现

Nginx处理静态页面的效率远高于Tomcat的处理能力
若Tomcat的请求量为1000次，则Nginx的请求量为6000次
Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M
Nginx处理静态资源的能力是Tomcat处理的6倍

Nginx + Tomcat 动静分离
nginx使用location去正则匹配用户的访问路径的前缀或者后缀，去判断接收的请求是静态的还是动态的，静态资源请求在Nginx本地进行处理响应，动态页面请求通过反向代理转发给后端应用服务器

负载均衡
使用反向代理，先在http块中使用upstream模块定义服务器组名和服务器列表，使用location匹配路径再用proxy_pass http://… 服务器组名进行七层代理转发。

3、部署实例

实验准备
Nginx 四层服务器：192.168.24.74:80
Nginx 七层服务器：192.168.24.73:80
Nginx 七层服务器：192.168.24.75:80

Tomcat服务器1：192.168.24.72:8080
Tomcat服务器2：192.168.24.72:8081  

1.部署Nginx 负载均衡器

systemctl stop firewalld
setenforce 0

yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make

useradd -M -s /sbin/nologin nginx

cd /opt/nginx
tar zxvf nginx-1.24.0.tar.gz

cd nginx-1.24.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-http_flv_module \
--with-http_ssl_module \
--with-stream
###启用 stream模块，提供4层调度

make -j4 && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

chmod 754 /lib/systemd/system/nginx.service
systemctl daemon-reload
systemctl start nginx.service
systemctl enable nginx.service

2.tomcat动静分离和Nginx七层代理配置

1）Tomcat1 server 配置
mkdir /usr/local/tomcat1/webapps/test
vim /usr/local/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   #指定为 test1 页面


<% out.println(" 动态页面 2");%>



vim /usr/local/tomcat1/conf/server.xml

#由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置

	
	


/usr/local/tomcat1/bin/shutdown.sh 
/usr/local/tomcat1/bin/startup.sh 


2）Tomcat2 server 配置
mkdir /usr/local/tomcat2/webapps/test
vim /usr/local/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   #指定为 test2 页面


<% out.println(" 动态页面 2");%>




vim /usr/local/tomcat/tomcat1/conf/server.xml

#删除前面的 HOST 配置

	


/usr/local/tomcat2/bin/shutdown.sh 
/usr/local/tomcat2/bin/startup.sh 


3）Nginx server 配置
#准备静态页面和静态图片
echo '

这是静态页面


'  >  /usr/local/nginx/html/index.html

vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;
	
	#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
	upstream tomcat_server {
		server 192.168.24.72:8080 weight=1;
		server 192.168.24.72:8081 weight=1;
	}
	
	server {
		listen 80;
		server_name www.kgc.com;
	
		charset utf-8;
	
		#access_log logs/host.access.log main;
		
		#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;          #设置后端的Web服务器可以获取远程客户端的真实IP
			proxy_set_header HOST $host;              ##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，
			                                            那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
            proxy_set_header X-Real-IP $remote_addr;                      ##把$remote_addr赋值给X-Real-IP，来获取源IP
           	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  ##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
		}
		
		#配置Nginx处理静态图片请求
		location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
			root /usr/local/nginx/html/img;
			expires 10d;
		}
		
		location / {
			root html;
			index index.html index.htm;
		}
......
	}
......
}
注：另外一台Nginx反向代理服务器 也按照Nginx server配置设置

注：keepalive_timeout 的值全部设置为0 （两个七层Nginx代理服务器的配置文件和一个四层的全部设置）

3.Nginx 四层代理配置

重新安装一台虚拟机的Nginx服务
加载 --with-stream模块

./configure --with-stream

和http同等级：所以一般只在http上面一段设置，
stream {
	
    upstream nginx_server {
		server 192.168.24.73:80 weight=1; #修改为两台Nginx代理服务器的IP地址
		server 192.168.24.75:80 weight=1; #修改为两台Nginx代理服务器的IP地址
    }
    server {
        listen 80;
        proxy_pass nginx_server;
    }
}

http {
      server {
        listen 8080;
......

5.测试效果

测试静态页面效果
浏览器访问 http://192.168.58.63/test/index.html

测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.58.63/test/index.jsp


Nginx 负载均衡模式：
●rr 轮询 负载均衡模式：
每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。

●least_conn 最少连接：
优先将客户端请求调度到当前连接最少的服务器。

●ip_hash 负载均衡模式：
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash（使用后端服务器自身通过相关机制保持session同步）。

●fair（第三方）负载均衡模式：
按后端服务器的响应时间来分配请求，响应时间短的优先分配。

●url_hash（第三方）负载均衡模式：
基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。