Tomcat6集群 + Apache + Nginx均衡负载及其测试

 

Tomcat6集群 + Apache + Nginx均衡负载及其测试

Tomcat6 集群配置端口规划：

注：该端口是在同一台机器上启动2个tomcat，需要修改一下端口不重复，如果一台机器只部署1个tomcat其端口可以一样。

序号	SHUTDOWN	AJP	http	集群Receiver
1	8005	8009	8080	5001
2	8015	8019	8081	5002

 

Tomcat6集群配置：

在server.xml中修改：

将：

修改为：

jvmRoute="jvm1">

其中 jvmRoute="jvm1" 在不同的tomcat中名称不一样。

在节点中加入如下内容：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"   channelSendOptions="6">          <Manager className="org.apache.catalina.ha.session.BackupManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true"    mapSendOptions="6" />                   <Channel className="org.apache.catalina.tribes.group.GroupChannel">                    <Membership className="org.apache.catalina.tribes.membership.McastService"                    address="228.0.0.4" port="45564" frequency="500" dropTime="3000" />                    <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"                 address="auto"  port="5001"                 selectorTimeout="100" maxThreads="6" />                    <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">                             <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />                    Sender>                    <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector" />                    <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor" />                    <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor" />          Channel>          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"                        filter=".*/.gif;.*/.js;.*/.jpg;.*/.png;.*/.htm;.*/.html;.*/.css;.*/.txt;" />          <ClusterListener    className="org.apache.catalina.ha.session.ClusterSessionListener" /> Cluster>

注意在同一台机器上：Receiver 节点端口： port="5001" 要不一样。

优化：

内存优化配置：

Windows：

set JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M -XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps -Djava.awt.headless=true"

Linux：

JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M -XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC  -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps -Djava.awt.headless=true"

其他优化配置：

1、加入如下配置1：

maxThreads="500" minSpareThreads="50" />

修改

connectionTimeout="20000"                redirectPort="8443" />

为：

executor="tomcatThreadPool" protocol="HTTP/1.1"                connectionTimeout="60000"                enableLookups="false" redirectPort="8443" />

修改：

为：

connectionTimeout="60000"                enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />

2、或者：

修改

connectionTimeout="20000"                redirectPort="8443" />

为：

protocol="HTTP/1.1"                maxThreads="500"                acceptCount="50" connectionTimeout="60000"                enableLookups="false" redirectPort="8443" />

修改：

为：

maxThreads="500"  connectionTimeout="60000"                enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />

 

注：两者的主要区别是：executor被起用且关联时maxThreads="500" 被忽略。

几个属性解释：

maxThreads

Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。默认值200。 可以根据机器的时期性能和内存大小调整，一般可以在400-500。最大可以在800左右。

acceptCount

　　指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理。默认值10。 

minSpareThreads

Tomcat初始化时创建的线程数。默认值4。 

connnectionTimeout

网络连接超时，默认值20000，单位：毫秒。设置为0表示永不超时，这样设置有隐患的。通常可设置为30000毫秒。(本系统由于与后台系统接口超时时间较长，使用设置为60000) 

enableLookups 

是否反查域名，默认值为true。为了提高处理能力，应设置为false 

Executor节点

表示Tomcat组件之间共享的线程池。

maxIdleTime

空闲线程被关闭之前的毫秒数。默认值是60000。

Nginx + Tomcat负载均衡配置：

在配置文件

upstream  tomcat6 {             server 192.168.100.50:8080  weight=1;             server 192.168.100.50:8081  weight=1;   }

其中tomcat6名称随意，注意IP地址和端口。

修改Server节点中location：

location / {         root   html;         index  index.html index.htm;     }

为：

location  / {        #root   html;        #index  index.html index.htm;             proxy_pass  http://tomcat6;     }

注意http://tomcat6中tomcat6名称与上面的配置一样。

Apache + Tomcat 负载均衡配置：

Apache Http Server与Tomcat连接有三种方式，可以参考：

http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html

本文只介绍最常用的JK方式，需要2个文件：

1、httpd.conf

Apache 服务器的配置文件，用来加载 JK 模块以及指定 JK 配置文件信息

2、workers.properties

到 Tomcat 服务器的连接定义文件。

下面是一个典型的 httpd.conf 对 JK 的配置：

# (httpd.conf) # 加载 mod_jk 模块 LoadModule jk_module modules/mod_jk.so   # # Configure mod_jk #   JkWorkersFile conf/workers.properties JkMountFile conf/uriworkermap.properties JkLogFile logs/mod_jk.log JkLogLevel warn

mod_jk.so文件可以从http://labs.xiaonei.com/apache-mirror/tomcat/tomcat-connectors/jk/binaries/下载，下载源代码后需要编译，下载二进制后直接复制到apache目录modules文件夹下面，修改上面配置文件LoadModule jk_module modules/mod_jk.so，注意其对应其apache的版本2.0.x和2.2.x，以及不同的平台。一般对于AIX，HP-UX平台已经包含了mod_jk.so文件不需要再下载或编译，HP-UX一般apache目录在/opt/hpws/apache/。

上面配置也可单独拆分为一个单独的文件，建立mod_jk.conf文件加入上面配置内容，在httpd.conf中加入如下内容即可：

Include conf/mod_jk.conf

接下来在 Apache 的 conf 目录下新建文件： workers.properties

worker.list = controller,tomcat1,tomcat2,tomcat3,tomcat4  #server 列表   #========tomcat1======== worker.tomcat1.port=8009         #ajp13 端口号，在tomcat下server.xml配置,默认8009 worker.tomcat1.host=192.168.1.99  #tomcat的主机地址，如不为本机，请填写ip地址 worker.tomcat1.type=ajp13 worker.tomcat1.lbfactor = 1   #server的加权比重，值越高，分得的请求越多 #========tomcat2======== worker.tomcat2.port=9009       #ajp13 端口号，在tomcat下server.xml配置,默认8009 worker.tomcat2.host=192.168.1.99 #tomcat的主机地址，如不为本机，请填写ip地址 worker.tomcat2.type=ajp13 worker.tomcat2.lbfactor = 1   #server的加权比重，值越高，分得的请求越多 #========tomcat3======== worker.tomcat3.port=8009         #ajp13 端口号，在tomcat下server.xml配置,默认8009 worker.tomcat3.host=192.168.1.100  #tomcat的主机地址，如不为本机，请填写ip地址 worker.tomcat3.type=ajp13 worker.tomcat3.lbfactor = 1   #server的加权比重，值越高，分得的请求越多 #========tomcat4======== worker.tomcat4.port=9009       #ajp13 端口号，在tomcat下server.xml配置,默认8009 worker.tomcat4.host=192.168.1.100  #tomcat的主机地址，如不为本机，请填写ip地址 worker.tomcat4.type=ajp13 worker.tomcat4.lbfactor = 1   #server的加权比重，值越高，分得的请求越多     #========controller,负载均衡控制器======== worker.controller.type=lb worker.controller.balanced_workers=tomcat1,tomcat2,tomcat3,tomcat4   #指定分担请求的tomcat worker.controller.sticky_session=false #worker.controller.sticky_session=1 #此处指定集群是否需要会话复制，如果设为true，则表明为会话粘性，不进行会话复制

 

 

 测试：

命令：ab -n 50000 -c 1000 http://127.0.0.1/index.jsp

根据具体情况增加或减少-n -c 参数大小

本文链接：http://blog.csdn.net/myloon/archive/2009/11/05/4774320.aspx