构建Nginx+Tomcat负载均衡集群

nginx不但可以作为web服务器，还可以作为反向代理服务器。今天我们来构建构建一个Nginx+Tomcat负载均衡集群，做一个探讨性实验，希望给有此需求可以做一个参考，不足之处望指正。^_^

一、实验环境

CentOS 6.0 x86_64

nginx版本 nginx-1.2.7

tomcat版本 apache-tomcat-7.0.35

二、nginx的安装

实验中我们安装nginx之前需要先安装pcre库。不然安装nginx的时候会报错。

#安装pcre库

#安装pcre支持rewrite库,可以yum安装也可以源码安装，注意源码安装时，指定pcre的路径为解压源码的路径，而不是编译后的路径，否则会报错。

yum install pcre pcre-devel -y

#下载nginx

cd /usr/local/src/ ;wget http://nginx.org/download/nginx-1.2.7.tar.gz

#解压预编译nginx

tar zxvf nginx-1.2.7.tar.gz ；cd nginx-1.2.7

sed -i -e 's/1.2.7//g' -e 's/nginx\//ERROR/g' -e 's/"NGINX"/"ERROR"/g' src/core/nginx.h    (执行此行命令的目的是：当客服端访问我们的web服务器出错时不会显示我们web服务器的web软件的种类跟版本，只会显示ERROR这个提示，对网站的安全性有很好的保护作用)

./configure --prefix=/usr/local/nginx/ --user=www --group=www --wtih-http_status_moudle  --with-http_ssl_module (此步需要在系统中已经存在user www，group www，如果没有，新建就好，也可以不添加。)

#编译安装nginx

make ；make install

#编译安装过程中如无报错，那么我们安装的nginx已成功。

三、安装tomcat

先在192.168.1.102下安装tomcat

#下载jdk及tomcat

http://download.chinaunix.net/down.php?id=33932&ResourceID=61&site=1  

http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-6/v6.0.36/bin/apache-tomcat-6.0.36.tar.gz

#安装jdk环境

[root@localhost src]# ls

apache-tomcat-6.0.36.tar.gz  debug  jdk-6u26-dlj-linux-amd64.bin  kernels

[root@localhost src]#chmod o+x jdk-6u26-dlj-linux-amd64.bin  //先给jdk的other用户增加执行权限x，部分版本在执行此步骤过后，会提示下一步的动作。本版本无提示，我们手动执行下一步

[root@localhost src]#./jdk-6u26-dlj-linux-amd64.bin  //执行后会有大堆提示信息，到后面会有如下提示你是否同样执行：Do you agree to the above license terms? [yes or no]

我们执行  yes

完成后，会在当前目录生成一个新目录：jdk1.6.0_26

[root@localhost src]# ls

apache-tomcat-6.0.36.tar.gz jdk1.6.0_26                   kernels

debug                        jdk-6u26-dlj-linux-amd64.bin

[root@localhost src]# mkdir -p /usr/java/      //新建一个目录，用来搭建jdk环境

[root@localhost src]# mv  jdk1.6.0_26  /usr/java/

[root@localhost src]#vim /etc/profile //修改环境变量，在改文件下面添加以下内容：

export JAVA_HOME=/usr/java/jdk1.6.0_26  

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin

source /etc/profile  //使环境变量马上生效

java -version//查看java版本，来观察jdk是否安装成功

#安装配置tomcat

[root@localhost src]#tar zxvf  apache-tomcat-6.0.36.tar.gz

[root@localhost src]# mv apache-tomcat-6.0.36  /usr/local/tomcat_1

[root@localhost src]# cd /usr/local/tomcat_1/

[root@localhost tomcat_1]# ls

bin   lib      logs    RELEASE-NOTES  temp     work

conf  LICENSE  NOTICE  RUNNING.txt    webapps

[root@localhost tomcat_1]# ./bin/startup.sh    //启动tomcat

Using CATALINA_BASE:   /usr/local/tomcat_1

Using CATALINA_HOME:   /usr/local/tomcat_1

Using CATALINA_TMPDIR: /usr/local/tomcat_1/temp

Using JRE_HOME:        /usr/java/jdk1.6.0_26

Using CLASSPATH:       /usr/local/tomcat_1/bin/bootstrap.jar   //显示的内容为我们的写入/etc/profile内的内容，说明我们的tomcat启动成功.tomcat默认的连接端口connector port为8080。一台机器上可以安装多个tomcat服务，修改connector port不同即可。

##安装配置tomcat成功。

同样的方法在192.168.1.106上安装tomcat。

四、配置nginx

修改nginx配置文件/usr/local/nginx/conf/nginx.conf的内容前，我们一般先备份此配置文件：

cp /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.bakup  

#修改nginx配置文件/usr/local/nginx/conf/nginx.conf

先清空配置文件里面的内容，再将下面内容写入并保存.

user   www www;         //定义nginx的用户及用户所属组。

worker_processes 8;     //本实验机器cpu核数。

worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;  

pid /usr/local/nginx/nginx.pid;  

worker_rlimit_nofile 102400;

events

{

use epoll;

worker_connections 102400;

}

http

{

  include       mime.types;

default_type  application/octet-stream;

fastcgi_intercept_errors on;

charset  utf-8;

server_names_hash_bucket_size 128;

  client_header_buffer_size 4k;

  large_client_header_buffers 4 32k;

  client_max_body_size 300m;

sendfile on;

  tcp_nopush     on;

keepalive_timeout 60;

tcp_nodelay on;

client_body_buffer_size  512k;

  proxy_connect_timeout    5;

  proxy_read_timeout       60;

  proxy_send_timeout       5;

  proxy_buffer_size        16k;

  proxy_buffers            4 64k;

  proxy_busy_buffers_size 128k;

  proxy_temp_file_write_size 128k;

  gzip on;

  gzip_min_length  1k;

  gzip_buffers     4 16k;

  gzip_http_version 1.1;

  gzip_comp_level 2;

  gzip_types       text/plain application/x-javascript text/css application/xml;

  gzip_vary on;

log_format  main  '$http_x_forwarded_for - $remote_user [$time_local] "$request" '

              '$status $body_bytes_sent "$http_referer" '

              '"$http_user_agent"  $request_time $remote_addr';

    upstream www {  

    server   192.168.1.105:8080 weight=1 max_fails=2 fail_timeout=30s;

    server   192.168.1.106:8080 weight=1 max_fails=2 fail_timeout=30s;

}  

    //上面这4段为后端服务器www应用集群配置，我们可以配置很多tomcat服务器，可以为相同或者不同服务器，只要在后面添加正确即可。www为负载均衡名称，可以任意指定,但必须跟后端vhost.conf虚拟主机的pass段一致，否则不能转发后端的请求。

include vhost.conf;   //include引用vhosts.conf，该文件主要用于配置Nginx 虚拟主机.

}

如上nginx.conf配置完毕,继续配置nginx虚拟主机，继续在/usr/local/nginx/conf/目录下创建vhost.conf

  vi vhosts.conf 内容如下：

server {

   listen       80;

   server_name  localhost;

   index index.html index.htm;

root  /usr/local/nginx/;

   location /

   {

        proxy_next_upstream http_502 http_504 error timeout invalid_header;

        proxy_set_header Host  $host;

        proxy_set_header X-Real-IP $remote_addr;

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_pass http://www;   //因为我们设置的是全代理，nginx服务只做代理，不作访问，所以这里我们要配置成nginx.conf文件配置的服务器集群配置的文件名一样，才能代理成功。

        expires      3d;

   }

location ~ .*\.(php|jsp|cgi)?$

   {

        proxy_set_header Host  $host;

        proxy_set_header X-Real-IP $remote_addr;

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_pass http://www;       //这里我们要配置成nginx.conf文件配置的服务器集群配置的文件名一样，才能代理成功。

   access_log  /usr/local/nginx/logs/access.log main;

   error_log  /usr/local/nginx/logs/error.log  crit;    /这两行定义访问跟错误日志的存放处。

  }

}

以上就是我们对nginx的配置。

##检查nginx配置文件有没问题

/usr/local/nginx/sbin/nginx  -t //如无报错，则说明我们的的nginx配置文件正确，可以成功启动。

五、启动tomcat、nginx，查看nginx负载集群是否搭建成功

##在当前实验机器下面192.168.1.105跟192.168.1.106下启动tomcat服务:

/usr/local/tomcat_1/bin/startup.sh  

##启动当前主机的nginx服务，并在浏览器里面直接访问本机的ip：

/usr/local/nginx/sbin/nginx  

连续按F5键刷新，然后去查看访问日志，来判断nginx+tomcat负载均衡集群配置是否成功。在其中一台tomcat下的引导界面下修改引导文件，来区别另外一台tomcat服务器更直观，直至搭建成功。

到此，我们搭建的Nginx+Tomcat负载均衡集群告一段落。