nginx tomcat负载均衡之文件上传访问策略

多服务器负载均衡的策略有多种，其中为目前大多数大型网站所采用的就是nginx做前端代理，后端链接多台jsp，php，cgi等网站服务器；

近来一个项目可能会存在较大大访问量(预期日均用户量50万，最大并发数5万)，项目开发采用的语言是java，有一个网站管理后台（系统管理员用的，访问量不大），另外有50多个接口向外提供ios，android客户端访问，预设服务器运行环境是tomcat，为了适应大规模并发，需要在tomcat前端增加代理服务器，来做负载均衡，于是就开始采用nginx作为前端代理服务器。

 

测试时，部署了3台tomcat服务器，1台nginx服务器，其中一台tomcat服务器与nginx在同一机器上；三台机器的操作系统分别为centos6.2（nginx+tomcat）、redhat enterprise 6.0（tomcat+mysql）、window xp（tomcat）；

 

一开始按照官方推荐配置，配置了upstream模块，采用webbench测试并发一个动态的jsp（参数校验，数据库访问），3万个并发被平均的分配至三个tomcat服务器中处理，失败率是0；但当采用真实环境测试时问题来了：登录时总是提示验证码输入不正确，看下三台服务器控制台输出，然来生成验证码和验证验证码的tomcat经常不一致，而又没有配置session共享策略，所以必然会造成无法登录，这个问题通过设置nginx转发登录模块至同一台服务器解决；另外一个非常棘手的问题，那就是客户端文件上传问题（客户端接口中有两个文件上传接口），文件上传一开始也是动态的均衡到每台服务器，但是会发现可能上传的时候使用的是a服务器，下载的时候使用的是b服务器，这就经常的导致客户端无法正常的下载文件。

 

关于文件上传问题我想详细描述下:

 

文件的上传只能由tomcat服务器做处理，包括创建缩略图，写入路径至数据库，所以无法采用nginx自带的文件上传模块；

文件需要能被接口直接访问，路径需要写入数据库

 

考虑到的几种解决方案;

 

1.采用负载均衡策略，文件上传动态的分配至tomcat服务器处理，数据库中文件路径填写nginx服务器上的文件文件路径，然后每台服务器定时和nginx服务器做文件同步，最终文件下载时使用nginx直接处理；

 

2.采用负载均衡策略，文件上传动态的分配至tomcat服务器处理，数据库中文件路径填写tomcat服务器文件路径，并加上特殊前缀（唯一对应此台tomcat服务器）；文件下载时，nginx配置一个前缀转发规则，不同的前缀转发至具体tomcat服务器；

 

3.采用负载均衡策略，文件上传动态的分配至tomcat服务器处理，数据库中文件路径填写tomcat服务器上的文件文件路径，然后每台tomcat服务器定时互相文件同步，最终文件下载时使用nginx动态分配至tomcat直接处理；

 

4.文件的上传指定nginx服务器上的tomcat处理，下载使用nginx处理；

 

 

 

优劣暂时就不写了，理解下，后期再给出吧；最终采用的策略是4（最简单）

 

 

另外附上nginx配置文件：

 

 

 

 user  root;
 worker_processes  2;

 error_log  logs/error.log;
 #error_log  logs/error.log  notice;
 #error_log  logs/error.log  info;

 pid        logs/nginx.pid;


 events {
     worker_connections  4048;
 }


 http {
     include       mime.types;
     default_type  application/octet-stream;

     log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                       '$status $body_bytes_sent "$http_referer" '
                       '"$http_user_agent" "$http_x_forwarded_for"';

     access_log  logs/access.log  main;

     sendfile        on;
     tcp_nopush     on;

     #keepalive_timeout  0;
     keepalive_timeout  65;

     #gzip  on;

     server {
         listen       80;
         server_name  localhost;

         #charset koi8-r;

         access_log  logs/host.access.log  main;

       # location / {
       #     root   html;
       #     index  index.html index.htm;
       # }

         #error_page  404              /404.html;

         # redirect server error pages to the static page /50x.html
         #
         error_page   500 502 503 504  /50x.html;
         location = /50x.html {
             root   html;
         }

         # proxy the PHP scripts to Apache listening on 127.0.0.1:80
         #
         #location ~ \.php$ {
         #    proxy_pass   http://127.0.0.1;
         #}

         # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
         #
         #location ~ \.php$ {
         #    root           html;
         #    fastcgi_pass   127.0.0.1:9000;
         #    fastcgi_index  index.php;
         #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
         #    include        fastcgi_params;
         #}

         # deny access to .htaccess files, if Apache's document root
         # concurs with nginx's one
         #
         #location ~ /\.ht {
         #    deny  all;
         #}
     }

      upstream 192.168.1.245{
        # ip_hash;
         server 127.0.0.1:8083;# weight=5;
        # server 192.168.1.250:8083 weight=4;
        # server 192.168.1.106:8082 weight=3;
        # server 192.168.0.1:8001;
     }

     upstream 192.168.1.245_nofile{
        # ip_hash;
         server 127.0.0.1:8083 weight=5;
         server 192.168.1.250:8083 weight=4;
         server 192.168.1.106:8082 weight=3;
        # server 192.168.0.1:8001;
     }


     server {
         listen          80;
         server_name     192.168.1.245;
         access_log      logs/big.server.access.log main;
        # root /home/ky/apache-tomcat-6.0.33/webapps/ROOT/;

         location / {
                 proxy_pass      http://192.168.1.245_nofile;
         }


        # location ~ ^/(images|javascript|js|css|flash|media|static)/  {
        #         root    /home/ky/apache-tomcat-6.0.33/webapps/ROOT/;
        #         expires 30d;
        # }

         location ~ \.(jsp|php) {
                 proxy_pass      http://192.168.1.245;
         }

         location ~ /fckeditor/~ {
                 proxy_pass      http://192.168.1.245;
         }


         location /user/info/updateIcon.action {
                 proxy_pass      http://192.168.1.245;
         }

          location /photo/photoUpload.action {
                 proxy_pass      http://192.168.1.245;
         }

         location /createCode {
                 proxy_pass      http://192.168.1.245;
         }

         location ~ ^/admin/ {
                 proxy_pass      http://192.168.1.245;
         }

         location ~\.(htm|html|gif|jpg|jpeg|png|ico|rar|css|js|zip|txt|flv|swf|doc|ppt|xls)   {
                root    /home/ky/apache-tomcat-6.0.33/webapps/ROOT/;
         }

     }

     # another virtual host using mix of IP-, name-, and port-based configuration
     #
     #server {
     #    listen       8000;
     #    listen       somename:8080;
     #    server_name  somename  alias  another.alias;

     #    location / {
     #        root   html;
     #        index  index.html index.htm;
     #    }
     #}


     # HTTPS server
     #
     #server {
     #    listen       443;
     #    server_name  localhost;

     #    ssl                  on;
     #    ssl_certificate      cert.pem;
     #    ssl_certificate_key  cert.key;

     #    ssl_session_timeout  5m;

     #    ssl_protocols  SSLv2 SSLv3 TLSv1;
     #    ssl_ciphers  ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
     #    ssl_prefer_server_ciphers   on;

     #    location / {
     #        root   html;
     #        index  index.html index.htm;
     #    }
     #}

 }

 

其实个人感觉还有一个问题，那就是数据库缓存问题，服务器采用ssh三层框架开发的，hibernate缓存无法共享，可能会导致数据库操作的不一致，下周测试并找到解决方案，再贴出

 

2012-06-24

____________________________

 接上页：

1.这个配置中有个漏洞，那就是没有配置哪些目录是不允许直接访问的，在传统tomcat作为服务器的时候，tomcat本身的机制就禁止直接访问WEB-INF下的内容，但是在nginx中，由于配置了部分内容直接从nginx转发出去，这就导致了WEB-INF目录实际上可能会被暴露出去，一旦暴漏了，那么系统架构，源代码，数据库配置文件，系统配置文件等内容将一并泄露，这对于商业项目来讲会是致命的安全隐患，再次提醒自己以及相关人士，一定要配置不允许访问的目录

新版配置在上一版配置中增加了三行：

 

 location ~ ^/WEB-INF/ {
            deny  all;
        }

 

 

2.上页中提到hibernate缓存问题调研：如果配置了hibernate的cache*的话确实会造成nginx返回结果不同步的问题，在此建议如果采用nginx则不要再继续配置hibernate的缓存（其实就内网来讲，网速的影响可以忽略，需要担心的是数据库服务器的负载能否跟上）

 

当nginx解决了前端的负载均衡的时候，接下来的问题就是如果解决mysql数据的负载（如果配置了100台主机公用一个mysql）以及nginx的负载瓶颈（3万并发）

 

待续

 

2012-07-16

 

————————————————————————

 

接上页；

 

这几天在真实环境中使用了nginx，项目需求是这样的：

内网有两台tomcat，但对外只能已一个端口的形式出现，并且运行的服务是网站

 

所谓网站，那么一定会校验refer，并且jsp网页中都已经使用了base这个参数，页面输出到浏览器后的所有请求的开头将会以这个base参数作为http的开头，由于base 的值是通过java代码自动生成的，生成规则是依据请求来源去获取对应的server以及端口，那么按照上文的配置，将会使得jsp执行完成后，base的值中出现8081等没有开放的端口，这会导致网站的css，js，img等内容无法加载，网页显示出问题，而且后续的网页跳转均出现错误；

 

经仔细查询nginx的文档，发现了一处关键配置，那就是proxy_set_header Host;

它的作用是对代理的服务，设置http请求的header，使得通过代理转发的url和用户真实的访问nginx的参数一致

例如，这里加入我设置的proxy_set_header Host $host:8082;那么tomcat再接收到通过nginx转发的http请求后，会认为url来源是$host:8082，进一步推进的结果就是在jsp中的base参数的值将被设置为$host:8082；那么jsp页面加载完成后，后续的访问将以$host:8082为url前缀，也就是说访问是首先访问的还是nginx，然后再转发至tomcat，从而使得整个网页的访问变得更加流畅

 

proxy_set_header其实还可以设置其他的参数，这里没有用到，暂时就不做更多的探究

 

一份完整的配置代码贴出来：

 user  root;
 worker_processes  2;


 error_log  /var/log/nginx/error.log warn;
 pid        /var/run/nginx.pid;


 events {
     worker_connections  1024;
 }


 http {
     include       mime.types;
     default_type  application/octet-stream;

     log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                       '$status $body_bytes_sent "$http_referer" '
                       '"$http_user_agent" "$http_x_forwarded_for"';

     access_log  /var/log/nginx/access.log  main;

     sendfile        on;
     tcp_nopush     on;

     #keepalive_timeout  0;
     keepalive_timeout  65;

     #gzip  on;

     server {
         listen       80;
     server_name 192.168.1.104;
     }

      upstream tb{
         server 127.0.0.1:8082;
     }

     upstream EdianCompile{
         server 127.0.0.1:8082;
     }


     upstream heihei{
         server 127.0.0.1:8081;
     }

     upstream advertise{
     server 59.174.130.202:8088;
     }




     server {
         listen          80;
         server_name     app.emapp.cn;
         access_log      /var/log/nginx/big.server.access.log main;

         location / {
                 proxy_pass      http://heihei;
         proxy_set_header Host $host;
         }

         location ~ ^/tb/ {
                 proxy_pass      http://tb;
                 proxy_set_header Host $host;
         }

     location ~ ^/EdianCompile/ {
                 proxy_pass      http://EdianCompile;
         proxy_set_header Host $host;
         }

     location ~ ^/phonecharge/ {
                 proxy_pass      http://heihei;
                 proxy_set_header Host $host;
         }

     location ~ ^/yhqserver/ {
                 proxy_pass      http://heihei;
                 proxy_set_header Host $host;
         }

      location ~ ^/eshopapp/ {
                 proxy_pass      http://heihei;
                 proxy_set_header Host $host;
         }

      location ~ ^/Struts2/ {
                 proxy_pass      http://heihei;
                 proxy_set_header Host $host;
         }

     location ~ ^/advertise/ {
                 proxy_pass      http://advertise;
                 proxy_set_header Host $host;
         }

     }
 }