Linux NGINX^Tomcat 负载均衡 动静分离集群
---------------------Nginx+Tomcat负载均衡、动静分离-------------------------
由于NGINX静态页面处理能力强（2-3w并发）资源消耗低，但动态页面处理能力弱，所以将其与Apache结合，使用Apache的动态网页能力补足NGINX的不足，达到动静分离。
NGINX静态页面处理能力为Tomcat6倍 请求量若6000次，Tomcat只有1000次。吞吐量若为3.6M，Tomcat则只有0.6M
并发量：以10分钟有5000万用户平均每人访问2次为例，并发量为每秒(5000w*2)/(60*10)=16.7万，再double下（代理服务器同时连接客户端与后端服务器），每秒25万并发量
吞吐量可以理解成带宽流量，以每个请求0.5KB大小，并发每秒25万，0.5/1024MB*250000=122MB*8bit=977Mbps
- NGINX作为后端网页的反向代理（client访问proxy，proxy转发给后端多个server）和负载均衡，提升整个站点的负载并发能力（NGINX的负载均衡正是通过反向代理实现）
- Tomcat作为servlet/jsp容器，处理java语言开发的jsp动态页面程序，这也是tomcat的主要应用场景
Nginx 负载均衡模式
●rr 轮询 （round robin） 【默认】
每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。●wrr 加权轮询 （weight round robin）
weight值越大，被分配到的概率越高，用于后端服务器性能不均的情况。
●least_conn 最少连接
优先将客户端请求调度到当前连接最少的服务器。rr轮询可能因为开启长连接而负载不均匀，最少连接模式可以缓解这种情况。
●ip_hash 负载均衡模式
根据客户端IP做hash缓存的算法
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，同一个局域网的客户机（同一个公网IP）全部会分配给同一台服务器。所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash（使用后端服务器自身通过相关机制保持session同步）。
●url_hash（第三方）负载均衡模式
基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。
●fair（第三方）负载均衡模式
按后端服务器的响应时间来分配请求，响应时间短的优先分配。（负载小的服务器响应时间自然就短）
●random 随机分配
●hash nginx全局变量 consistent （一致性hash算法）
hash $remote_addr consistent 客户端IP 哈希算法，是ip_hash算法的加强版
【nginx全局变量】
除了轮询和加权轮询，都要在upstream块中写上配置，例如
nginx的反向代理实现会话保持
- 使用[ip_hash]、[url_hash]、[客户端IP一致性哈希算法 hash $remote_addr consistent] ，基于客户端IP / 访问的URL做哈希缓存实现会话保持
- sticky_cookie_insert 需要安装第三方的sticky模块，基于cookie来判断实现会话保持
- 配置后端应用服务器共享 session 或使用后端服务器自身通过相关机制保持 session 同步实现会话保持
nginx 的反向代理的类型 区别？(面试题)
四层反向代理
基于 IP + PORT 实现的代理转发，通常用于做用户的访问入口和负载均衡器等应用场景
根据监听端口 转发到不同的IP服务器
七层反向代理
基于http、https、mail等七层应用协议的代理转发，通常用于动静分离等应用场景
根据location中匹配文件后缀 转发到不同IP服务器
配置七层负载均衡^动静分离
服务器IP分配
Nginx 服务器： 192.168.80.101:80
Tomcat服务器1：192.168.80.102:80
Tomcat服务器2：192.168.80.103:8080 192.168.80.103:8081
架构图
1.部署Nginx 负载均衡器
停止防火墙
systemctl stop firewalld setenforce 0安装依赖项
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make添加NGINX运行用户
useradd -M -s /sbin/nologin nginx解压
cd /opt tar zxvf nginx-1.24.0.tar.gz -C /opt/配置软件
cd nginx-1.24.0/ ./configure \ --prefix=/usr/local/nginx \ --user=nginx \ --group=nginx \ --with-file-aio \ #启用文件修改支持 --with-http_stub_status_module \ #启用状态统计 --with-http_gzip_static_module \ #启用 gzip静态压缩 --with-http_flv_module \ #启用 flv模块，提供对 flv 视频的伪流支持 --with-http_ssl_module #启用 SSL模块，提供SSL加密功能 --with-stream #启用 stream模块，提供4层调度 ---------------------------------------------------------------------------------------------------------- ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-stream安装
make && make install添加入系统路径 以便shell直接调用
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/编辑service脚本，以便systemctl管理
vim /lib/systemd/system/nginx.service [Unit] Description=nginx After=network.target [Service] Type=forking PIDFile=/usr/local/nginx/logs/nginx.pid ExecStart=/usr/local/nginx/sbin/nginx ExecrReload=/bin/kill -s HUP $MAINPID ExecrStop=/bin/kill -s QUIT $MAINPID PrivateTmp=true [Install] WantedBy=multi-user.targetchmod 754 /lib/systemd/system/nginx.service systemctl start nginx.service systemctl enable nginx.service
2.部署2台Tomcat 应用服务器关闭防火墙
systemctl stop firewalld setenforce 0解压jdk
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/添加jdk环境变量
vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_91 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH重新加载文件导入环境变量
source /etc/profile解压tomcat
tar zxvf apache-tomcat-8.5.16.tar.gz移动文件到安装目录
tomcat服务器1如下
mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcattomcat服务器2如下
mkdir /usr/local/tomcat mv apache-tomcat-8.5.16 /usr/local/tomcat/tomcat1 cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2启动停止服务
/usr/local/tomcat/bin/shutdown.sh /usr/local/tomcat/bin/startup.shnetstat -ntap | grep 8080
3.动静分离配置
（1）Tomcat1 server 配置准备动态页面1
mkdir /usr/local/tomcat/webapps/testvim /usr/local/tomcat/webapps/test/index.jsp <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>JSP test1 page #指定为 test1 页面 <% out.println("动态页面 1,http://www.test1.com");%>更改service配置
vim /usr/local/tomcat/conf/server.xml #由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置重启服务
/usr/local/tomcat/bin/shutdown.sh /usr/local/tomcat/bin/startup.sh（2）Tomcat2 server 配置
准备2个动态页面
准备tomcat server2 实例2页面
mkdir -p /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/testvim /usr/local/tomcat/tomcat1/webapps/test/index.jsp <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>JSP test2 page #指定为 test2 页面 <% out.println("动态页面 2,http://www.test2.com");%> ······················· <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>JSP test2 page <% out.println("动态页面 2,http://www.test2.com");%>更改server2 实例1 server配置
vim /usr/local/tomcat/tomcat1/conf/server.xml #删除已经存在的 同样的 HOST 配置（注意范围，不要漏删后面的）重启服务
/usr/local/tomcat/tomcat1/bin/shutdown.sh /usr/local/tomcat/tomcat1/bin/startup.sh准备tomcat server2 实例2页面
vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>JSP test3 page #指定为 test3 页面 <% out.println("动态页面 3,http://www.test3.com");%>更改server2 实例2 server配置 修改 tomcat2 中的 server.xml 文件中的 三个 端口号 8080 8005 8009，要求各 tomcat 实例配置不能有重复的端口号
vim /usr/local/tomcat/tomcat2/conf/server.xml #删除已经存在的 同样的 HOST 配置（注意范围，不要漏删后面的）#22行，修改Server prot，默认为8005 -> 修改为8006 修改为8081 #116行，修改Connector port AJP/1.3，默认为8009 -> 修改为8010 重启服务
/usr/local/tomcat/tomcat2/bin/shutdown.sh /usr/local/tomcat/tomcat2/bin/startup.sh
（3）Nginx server 配置#准备静态页面和静态图片 echo 'this is static page
' > /usr/local/nginx/html/index.html mkdir /usr/local/nginx/html/img cp /opt/1.gif /usr/local/nginx/html/img
vim /usr/local/nginx/conf/nginx.conf ...... http { ...... #gzip on; #配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大 upstream tomcat_server { server 192.168.80.102:8080 weight=1; server 192.168.80.103:8080 weight=1; server 192.168.80.103:8081 weight=1; } server { listen 80; server_name www.xue.com; charset utf-8; #access_log logs/host.access.log main; #配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理 location ~ .*\.jsp$ { proxy_pass http://tomcat_server; #设置后端的Web服务器可以获取远程客户端的真实IP ##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。 proxy_set_header HOST $host; ##把$remote_addr赋值给X-Real-IP，来获取源IP proxy_set_header X-Real-IP $remote_addr; ##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } #配置Nginx处理静态图片请求 location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ { root /usr/local/nginx/html/img; expires 10d; } location / { root html; index index.html index.htm; } ...... } ...... }systemctl restart nginx
4.测试效果
测试静态页面效果
浏览器访问 http://192.168.80.101/
浏览器访问 http://192.168.80.101/1.gif
测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.80.101/index.jsp
配置四层+七层负载均衡^动静分离
服务器IP分配
Nginx 四层服务器： 192.168.80.104:80
Nginx 七层服务器： 192.168.80.101:80
Nginx 七层服务器： 192.168.80.105:80
Tomcat服务器1：192.168.80.102:80
Tomcat服务器2：192.168.80.103:8080 192.168.80.103:8081
架构图
1.初始化服务器，新加的两台NGINX服务器上安装NGINX服务
systemctl stop firewalld setenforce 0yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ makeuseradd -M -s /sbin/nologin nginxcd /opt tar zxvf nginx-1.24.0.tar.gz -C /opt/cd nginx-1.24.0/ ./configure \ --prefix=/usr/local/nginx \ --user=nginx \ --group=nginx \ --with-file-aio \ #启用文件修改支持 --with-http_stub_status_module \ #启用状态统计 --with-http_gzip_static_module \ #启用 gzip静态压缩 --with-http_flv_module \ #启用 flv模块，提供对 flv 视频的伪流支持 --with-http_ssl_module #启用 SSL模块，提供SSL加密功能 --with-stream ✨启用 stream模块，提供4层调度 ---------------------------------------------------------------------------------------------------------- ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-streammake && make installln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/vim /lib/systemd/system/nginx.service [Unit] Description=nginx After=network.target [Service] Type=forking PIDFile=/usr/local/nginx/logs/nginx.pid ExecStart=/usr/local/nginx/sbin/nginx ExecrReload=/bin/kill -s HUP $MAINPID ExecrStop=/bin/kill -s QUIT $MAINPID PrivateTmp=true [Install] WantedBy=multi-user.targetchmod 754 /lib/systemd/system/nginx.service systemctl start nginx.service systemctl enable nginx.service
七层负载均衡NGINX服务器105配置，与101相同
准备静态网页文件
echo 'this is NGINX 7 server 2
编辑轮询，转发到 两台7层负载均衡NGINX服务器的80端口的请求 负载均衡反向代理到后面三台tomcat主机
设置与101主机相同（两台7层NGINX nginx.conf设置均相同）
vim /usr/local/nginx/conf/nginx.conf ...... http { ...... #gzip on; keepalive_timeout 0; ✨长连接，三台NGINX服务器都要关！！！如果默认65表示65秒后连接断开才能下一次轮循 #配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大 upstream tomcat_server { server 192.168.80.101:8080 weight=1; server 192.168.80.105:8080 weight=1; } server { listen 80; server_name www.xue.com; charset utf-8; #access_log logs/host.access.log main; #配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理 location ~ .*\.jsp$ { proxy_pass http://tomcat_server; #设置后端的Web服务器可以获取远程客户端的真实IP ##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。 proxy_set_header HOST $host; ##把$remote_addr赋值给X-Real-IP，来获取源IP proxy_set_header X-Real-IP $remote_addr; ##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } #配置Nginx处理静态图片请求 location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ { root /usr/local/nginx/html/img; expires 10d; } location / { root html; index index.html index.htm; } ...... } ...... }
四层负载均衡NGINX服务器104配置
配置4层均衡负载 和http同等级：所以一般只在http上面一段设置
访问80端口反向代理到后面两台7层NGINX上的html静态、jsp动态页面
vim /usr/local/nginx/conf/nginx.conf stream { upstream appserver { server 192.168.80.101:80 weight=1; server 192.168.80.105:80 weight=1; } server { listen 8080; proxy_pass appserver; } } http { ...... keepalive_timeout 0; ✨长连接，三台NGINX服务器都要关！！！如果默认65表示65秒后连接断开才能下一次轮循配置静态网页， 写在http块内
访问8080端口导向4层负载主机（本机）静态页面
...... http { ...... #gzip on; server { listen 8080; server_name www.xue.com; }keepalive_timeout 0; ✨长连接，三台NGINX服务器都要关！！！如果默认65表示65秒后连接断开才能下一次轮循
访问服务器测试
访问四层均衡nginx 80口反向代理负载均衡给7层服务器，
7层服务器再根据是静态页面还是动态页面选择自己处理，或是再反向代理负载均衡给更后面的三台tomcat服务器。
访问四层均衡nginx 8080口 直接返回本主机的静态页面。
总结
