Nginx+tomcat7的负载均衡和动静分离配置
简介：
所谓动静分离就是通过nginx（或apache等）来处理用户端请求的图片、html等静态的文件，tomcat（或weblogic）处理jsp、do等动态文件，从而达到动静页面访问时通过不同的容器来处理。nginx处理静态页面效率远高于tomcat，而tomcat擅长动态页面处理，这样一来就能更好的提高并发，处理性能。
所谓负载均衡就是、采用nginx的proxy_pass将location做动静分离后的jsp、do等jsp程序文件分发到后端upstreamd模块中tomcat集群上，rewrite做正则分发，此时也将应用到nginx经典之处的IP哈希(ip_hash)模块，这样每个访客固定访问一个后端web服务器，可以解决session的问题;
但采用ip_hash指令无法保证后端服务器的负载均衡，可能有些后端服务器接收的请求多，有些后端服务器收到的请求少，而且设置后端服务权重等方法将不起作用。所以，如果后端的动态应用服务器能够做到SESSION共享，还是建议采用后端服务的SESSION共享方式代替Nginx的ip_hash方式。（可使用memcached来保持session，实现session共享）
架构描述
一台nginx：做静态的html服务器和负载均衡
两台tomcat服务器每台服务器装有2个tomcat服务，使其支持动态jsp程序和.do文件
两台nginx服务器每台服务器装有2个nginx，支持PHP文件
1. 安装JDK
先用java命令查看系统是否安装了默认的openJDK，如果已安装，建议用yum remove java卸载。
下载jdk：oracle的jdk
安装：rpm �Civh jdk-7u79-linux-x64.rpm
配置环境变量（等到tomcat安装好之后一起配置）
2. 安装tomcat
Tomca下载地址：
http://mirrors.cnnic.cn/apache/tomcat/tomcat-7/v7.0.63/bin/apache-tomcat-7.0.63.tar.gz
下载后解压：tar -zxvf apache-tomcat-7.0.63.tar.gz
移动到/usr/local/tomcat：mv apache-tomcat-7.0.63 /usr/local/tomcat
设置目录可执行权限 chmod +x /usr/local/tomcat
cp -ar /usr/local/tomcat1 /usr/local/tomcat2
#分别修改tomcat1和tomcat2 端口，这里有三个端口需要修改，分别如下：
shutdown 端口：8005 主要负责启动关闭.
ajp端口：8009 主要负责通过ajp均衡（常用于apache和tomcat整合）
http端口：8080 可以通过web页面直接访问（nginx+tomcata整合）
#注* 如果tomcat1三个端口分别为：8005 8009 8080 ,那么tomcat2端口在此基础上都+1，即为：8006 8010 8081
#一台服务器上，端口不能重复，否则会报错。
#修改完端口后，然后启动两个tomcat，启动命令为：
#如何提示没有这个文件或者权限不足，需要tomcat 的bin目录对sh文件赋予执行权限：chmod o+x *.sh
/usr/local/tomcat1/bin/startup.sh
/usr/local/tomcat2/bin/startup.sh
#启动后，使用netstat -atnl 可以看到6个端口，即代表tomcat1 tomcat2成功启动。
你可以使用 http://ip:8080 http://ip:8081访问tomcat默认页面。
#如果需要修改tomcat发布目录为自己制定的目录，需要做如下调整，创建两个发布目录：
mkdir -p /usr/webapps/{www1,www2}
编辑vi /usr/local/tomcat1/conf/server.xml 在最后</Host>前一行加下内容：
<Context path="" docBase="/usr/webapps/www1" reloadable="false"/>
编辑vi /usr/local/tomcat2/conf/server.xml 在最后</Host>前一行加下内容：
<Context path="" docBase="/usr/webapps/www2" reloadable="false"/>
3.tomcat1发布目录内容：
|
1
2
3
4
5
6
|
<html>
<body>
<h1>TOMCAT_1 JSP Test Page<
/h1
>
<%=new java.util.Date()%>
<
/body
>
<
/html
>
|
4.tomcat2发布目录内容：
|
1
2
3
4
5
6
|
<html>
<body>
<h1>TOMCAT_2 JSP Test Page<
/h1
>
<%=new java.util.Date()%>
<
/body
>
<
/html
>
|
然后访问http://ip:8080、8081查看测试内容。
配置环境变量
编辑profile文件：vim /etc/profile
在文件中添加以下代码：
export JAVA_HOME=/usr/java/jdk1.7.0_79 #根据自己的安装结果来填写目录
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
export TOMCAT_HOME=/usr/local/tomcat
export CATALINA_HOME=/usr/local/tomcat
保存文件退出编辑。
使设置立即生效：source /etc/profile
至此，tomcat已经搭建完毕，下面所述的步骤主要是对tomcat的相关设置。
启动tomcat： sh startup.sh 或者 sh /usr/local/tomcat7/bin/startup.sh
此时可在浏览器查看http://IP:8080，如果没有图形界面，则需要打开端口才可访问。
打开防火墙端口命令如下：
/sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT #8080为端口
/etc/rc.d/init.d/iptables save #保存
/etc/init.d/iptables restart #重启防火墙使得立即生效
也可以在/etc/sysconfig/iptables文件中增加一行信息，
-A RH-Firewall-1-INPUT -m state �Cstate NEW -m tcp -p tcp �Cdport 8080 -j ACCEPT
查看防火墙状态的命令：/etc/init.d/iptables status
关闭防火墙的命令：/etc/init.d/iptables stop
3. 安装nginx
#cd /usr/local/src
#wget http://nginx.org/download/nginx-1.6.2.tar.gz
新建nginx用户与组
#groupadd -g 108 -r nginx
#useradd -u 108 -r -g 108 nginx
#id nginx
uid=108(nginx) gid=108(nginx) 组=108(nginx)
首先安装 Nginx 编译安装时的相关依赖:
# yum install -y pcre-devel openssl openssl-devel zlib-devel gd-devel
# tar zxvf nginx-1.6.2.tar.gz
# cd nginx-1.6.2
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-http_ssl_module --with-pcre --with-http_realip_module --with-http_image_filter_module --with-http_gzip_static_module
编译并安装
# make && make install
5、Nginx + tomcat整合
整合主要是修改nginx.conf配置，给一个完整的nginx.conf线上配置，部分参数可以自己根据实际需求修改：
user nginx nginx；
worker_processes 8;
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
pid /usr/local/nginx/nginx.pid;
worker_rlimit_nofile 102400;
events
{
use epoll;
worker_connections 102400;
}
http
{
include mime.types;
default_type application/octet-stream;
fastcgi_intercept_errors on;
charset utf-8;
server_names_hash_bucket_size 128;
client_header_buffer_size 4k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
sendfile on;
tcp_nopush on;
keepalive_timeout 60;
tcp_nodelay on;
client_body_buffer_size 512k;
proxy_connect_timeout 5;
proxy_read_timeout 60;
proxy_send_timeout 5;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types text/plain application/x-javascript text/css application/xml;
gzip_vary on;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /nginx/logs/access.log;
#这里为后端服务器cluster应用集群配置，根据后端实际情况修改即可，cluster_app为负载均衡名称，可以任意指定
#但必须跟server段 proxy_pass定义一致，否则不能转发后端的请求。
upstream cluster_tomcat {
ip_hash;
server 10.10.141.30:8080 weight=1 max_fails=2 fail_timeout=30s;
server 10.10.141.30:8081 weight=1 max_fails=2 fail_timeout=30s;
server 10.10.141.31:8080 weight=1 max_fails=2 fail_timeout=30s;
server 10.10.141.31:8081 weight=1 max_fails=2 fail_timeout=30s;
}
#这里为后端APP应用负载均衡配置，根据后端实际情况修改即可。tdt_app为负载均衡名称，可以任意指定
upstream cluster_nginx {
ip_hash;
server 10.10.141.40:8080 weight=1 max_fails=2 fail_timeout=30s;
server 10.10.141.40:8081 weight=1 max_fails=2 fail_timeout=30s;
server 10.10.141.41:8080 weight=1 max_fails=2 fail_timeout=30s;
server 10.10.141.41:8081 weight=1 max_fails=2 fail_timeout=30s;
}
####www.test1.cn
server
{
listen 80;
server_name www.test1.com;
index index.html index.php index.htm index.jsp index.do default.do;
#配置发布目录为/data/www/wugk
root /data/www/wugk;
#动态页面交给http://cluster_tomcat，也即我们之前在nginx.conf定义的upstream cluster_tomcat 均衡
location ~ .*\.(jsp|do)?$
{
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://cluster_tomcat;
}
location ~ \.(php|php5)?$
{
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http:cluster_nginx;
}
#配置Nginx动静分离，定义的静态页面直接从Nginx发布目录读取。
location ~ .*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$
{
root /data/www/wugk;
#expires定义用户浏览器缓存的时间为3天，如果静态页面不常更新，可以设置更长，这样可以节省带宽和缓解服务器的压力
expires 3d;
}
}
6、部署测试：
#检查Nginx配置文件是否配置正确，提示Ok and successful表示正确，如下：
[root@WEB-11-151 ~]# /usr/local/nginx/sbin/nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
#启动Nginx服务
/usr/local/nginx/sbin/nginx
#查看Nginx进程是否启动
ps -ef |grep nginx
1.将测试域名www.test.com 解析到前置机
客户端使用浏览器http://www.test.com/index .*测试首页测试
2.测试要求
测试页面分别针对前置机nginx的动静分离和到tomcat上负载均衡
3.分别在对应的WebServer 上制作测试页面，并用不同IE在客户端测试
①:index.html
This is a html test page, the server address is nginx
②:index.php
This is a php test page, the server address is nginx-php
③:index.jsp 和index.do 只做测试页面，不做具体动态程序
This is a jsp test page, the server address is tomcat
This is a do test page, the server address is tomcat
参考链接：http://cppmule.iteye.com/blog/1666194
http://wgkgood.blog.51cto.com/1192594/1529618
http://wgkgood.blog.51cto.com/1192594/1094236
http://www.360doc.com/content/14/1225/18/7635_435722541.shtml