Nginx+Tomcat负载均衡、动静分离群集

Nginx+Tomcat负载均衡、动静分离群集

一.Nginx应用

Nginx是一款非常优秀的HTTP服务器软件，支持高达50000个并发连接数的响应、拥有强大的静态资源处理能力、运行稳定、内存和CPU等系统资源消耗非常低

目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力

Nginx实现负载均衡是通过反向代理实现

Nginx动静分离实现原理

服务端接收来自客户端的请求中，既有静态资源也有动态资源由Nginx提供服务，动态资源Nginx转发至后端

Nginx静态处理优势

• Nginx处理静态页面的效率远高于Tomcat的处理能力
• 若Tomcat的请求量为1000次，则Nginx的请求量为6000次
• Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M
• Nginx处理静态资源的能力是Tomcat处理的6倍

二.部署案例过程（7层反向代理）

主机	IP
负载均衡器	192.168.230.5
部署Tomcat应用服务器	192.168.230.4
Tomcat多实例服务器	192.168.230.3

关闭防火墙与selinux

systemctl stop firewalld
setenforce 0

1.部署Nginx负载均衡器（7-3）

yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make

useradd -M -s /sbin/nologin nginx

cd /opt
tar xf nginx-1.24.0.tar.gz
cd nginx-1.24.0/

./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-http_ssl_module --with-stream

make [-j2] && make install

--with-file-aio		###启用文件修改支持
--with-http_stub_status_module		###启用状态统计
--with-http_gzip_static_module		###启用gzip静态压缩
--with-http_flv_module		###启用flv模块，提供对flv视频的伪流支持
--with-http_ssl_module		###启用SSL模块，提供SSL加密功能
--with-stream		###启用stream模块，提供4层调度

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

vim /lib/systemd/system/nginx.service

[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl status nginx.service
netstat -lntp | grep nginx

echo '
hhhh
' > /usr/local/nginx/html/index.html

mkdir /usr/local/nginx/html/img

vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;
	
###配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
	upstream tomcat_server {
		server 192.168.230.4:8080 weight=1;
		server 192.168.230.3:8080 weight=1;
		server 192.168.230.3:8081 weight=1;
	}
	
	server {
		listen 80;
		server_name www.xc.com;
	
		charset utf-8;
	
		#access_log logs/host.access.log main;
		
###配置Nginx处理动态页面请求，将.jsp文件请求转发到Tomcat服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;	###设置后端的Web服务器可以获取远程客户端的真实IP
###设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了
			proxy_set_header HOST $host;	###把$remote_addr赋值给X-Real-IP，来获取源IP
			proxy_set_header X-Real-IP $remote_addr;	###在nginx作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		}
		
		location / {
			root html;
			index index.html index.htm;
		}
......
	}
......
}

2.部署Tomcat应用服务器（7-2）

###将安装Tomcat所需软件包传到/opt目录下
jdk-8u201-linux-x64.rpm
apache-tomcat-9.0.16.tar.gz

cd /opt
rpm -qpl jdk-8u201-linux-x64.rpm 
rpm -ivh jdk-8u201-linux-x64.rpm 
java -version

vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

source /etc/profile.d/java.sh
java -version

cd /opt
tar xf apache-tomcat-9.0.16.tar.gz
mv apache-tomcat-9.0.16 /usr/local/tomcat
/usr/local/tomcat/bin/startup.sh

netstat -natp | grep 8080

vim /usr/lib/systemd/system/tomcat.service
[Unit]
Description=tomcat server
Wants=network-online.target
After=network.target
[Service]
Type=forking
Environment="JAVA_HOME=/usr/java/jdk1.8.0_201-amd64"
Environment="PATH=$JAVA_HOME/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar"
ExecStart=/usr/local/tomcat/bin/startup.sh
ExecStop=/usr/local/tomcat/bin/shutdown.sh
Restart=on-failure
[Install]
WantedBy=multi-user.target

mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   #指定为 test1 页面


<% out.println("动态页面 1,http://www.test1.com");%>



vim /usr/local/tomcat/conf/server.xml
###由于主机名name配置都为localhost，需要删除前面的 HOST配置

	
	



/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh
netstat -lntp | grep java

3.部署Tomcat多实例应用服务器（7-1）

部署好多实例后配置动静分离
mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test

vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   ###指定为test2页面


<% out.println("动态页面 2,http://www.test2.com");%>



vim /usr/local/tomcat/tomcat1/conf/server.xml
###删除前面的 HOST 配置

	


/usr/local/tomcat/tomcat1/bin/shutdown.sh 
/usr/local/tomcat/tomcat1/bin/startup.sh 

vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>


   ###指定为test3页面


<% out.println("动态页面 3,http://www.test3.com");%>



vim /usr/local/tomcat/tomcat2/conf/server.xml
###删除前面的 HOST 配置

	


/usr/local/tomcat/tomcat2/bin/shutdown.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 

测试静态页面效果
浏览器访问 http://192.168.230.5

测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.230.5/test/index.jsp

Nginx 负载均衡模式：

• rr（round robin） 轮询 负载均衡模式：
  每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配
• wrr（weight round robin）加权轮询
• least_conn 最少连接：
  优先将客户端请求调度到当前连接最少的服务器
• ip_hash 负载均衡模式：
  每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session共享问题可用后端服务的session共享代替nginx的ip_hash（使用后端服务器自身通过相关机制保持session同步）
• fair（第三方）负载均衡模式：
  按后端服务器的响应时间来分配请求，响应时间短的优先分配
• url_hash（第三方）负载均衡模式：
  基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好
• random 随机分配
• hash $remote_addr consistent 一致性hash算法， 客户端IP哈希算法，是ip_hash算法的加强版

三.四层反向代理

再准备两台虚拟机，一台同以上7层nginx反向代理配置相同，一台做4层反向代理

./configure --with-stream		###四层必备模块

和http同等级：所以一般只在http外面一段设置
vim /usr/local/nginx/conf/nginx.conf
stream {
    upstream appserver {
		server 192.168.230.5:80 weight=1;
		server 192.168.230.6:80 weight=1;
    }
    server {
        listen 80;
        proxy_pass appserver;
    }
}

http {
......
	server {
        listen 8080;
......
    }
}