Tomcat集群之Session复制配置

因为最近的项目要用到多web服务器实现访问负载和集群，负载调度使用的是LVS，而非apache的负载调度，因为在高访问量和大并发量的时候LVS的性能比APACHE好。然后在web服务器上是使用tomcat5.5.25做应用服务器，对于tomcat的集群有两种方式，这个主要是针对 session而言的。一种就是sticky模式，即黏性会话模式；另外一种就是session复制模式了。所谓sticky模式就是说同一个用户的访问请求都被派送到同一个tomcat实例上，这样我们就无须在多台服务器之间实现session共享了，这是其好处，不好的地方就是不能实现 failureover了，一但用户访问的机器挂掉，那么其session就会丢失。而session复制模式就可以很好的解决failureover的问题，即使某一台web服务器挂掉了，用户的请求还会被负载到其他的web服务器上，而且session也被复制了，这样对用户而言就像是在同一台机器上操作一样，不好的地方就是session复制需要系统资源和网络的开销，尤其是当web服务器多的时候或session里存储的数据量大的时候，这点将会比较的明显（不过自己还没有做这方面的测试）。

针对这两种方式的弊端和好处，我们可以采用将两种方式结合的方式来达到更好的效果，那就是sticky+session复制模式了。用户的请求按照 sticky方式被分发到同一个web服务器上，同时tomcat在后台做异步复制（非同步）session到其他web服务器，这样我们使用 sticky的简便性，同时又有了一定的容错能力。

下面我就将自己的tomcat集群配置经验跟大家分享一下，呵呵。现在想来，其实tomcat的集群配置真的是非常简单，几乎不需要改什么东西了。我今天就在windows上用一台机器来跑两个tomcat实例，下面是一些基础条件：
1.两个tomcat的目录分别为：d:\apache-tomcat-5.5.25-node1和d:\apache-tomcat-5.5.25-node2
2.在每个tomcat目录下的conf\Catalina\localhost目录下建立一个ROOT.xml文件，其内容为：
1 <?xml version="1.0" encoding="UTF-8"?>
2 <Context docBase="D:/mywebapps/test1"
3 privileged="true" antiResourceLocking="false" antiJARLocking="false" distributable="true">
4 </Context>

3.修改apache-tomcat-5.5.25-node1的connector端口为8091，修改apache-tomcat-5.5.25-node2的connector的端口为8092，这样是为了避免在同一机器上同时启动时造成访问端口冲突；
4.修改apache-tomcat-5.5.25-node2的Server端口为8006，与apache-tomcat-5.5.25-node1的Server端口8005不一样，也是避免两个tomcat实例启动时造成程序端口的冲突问题；
5.修改apache-tomcat-5.5.25-node2的AJP/1.3的端口为8019或其他非8009（默认）的端口，也是为了避免与apache-tomcat-5.5.25-node1的AJP/1.3端口冲突；

这样，我们就可以保证每一个tomcat单独启动时都可以提供D:/mywebapps/test1的web服务，注意是单个启动哦，然后分别启动 apache-tomcat-5.5.25-node1和apache-tomcat-5.5.25-node2后，输入如下地址分别进行访问你的web 应用：
apache-tomcat-5.5.25-node1的访问地址：http://localhost:8091/你的页面地址
apache-tomcat-5.5.25-node2的访问地址：http://localhost:8092/你的页面地址
如果你的tomcat没能成功的提供服务，那么你就需要查看一下是否tomcat部署成功了。注意这里的D:/mywebapps/test1就是你的web应用的物理路径了，可以随意修改。下面就开始对server.xml文件的配置了。

找到apache-tomcat-5.5.25-node1目录下的server.xml文件，打开并找到配置Engine的位置，我们在最后加入 jvmRoute="node1"，表示这个tomcat的实例名称为node1。修改前后的对比如下：

修改前：
<Engine name="Catalina" defaultHost="localhost">
修改后：
<Engine name="Catalina" defaultHost="localhost" jvmRoute="node1">

然后找到Cluster标签，并取消它的注释即可，无须做任何修改。同样，我们修改apache-tomcat-5.5.25-node2下的 server.xml文件，修改jvmRoute="node2"，然后也是注释掉Cluster标签，注意，然后还要修改Cluster标签下的 Receiver标签的tcpListenPort端口号，我们改为4002（默认的是4001），这个是为了避免两个tomcat实例同时启动时造成冲突。

通过上面的配置后，我们两个tomcat已经配置完毕，并且可以完成集群任务了。注意启动的时候不能直接双击其bing目录下的 startup.bat文件，我们还需要为每一个tomcat设置环境变量，分别在apache-tomcat-5.5.25-node1和 apache-tomcat- 5.5.25-node2的根目录下编写一个bat文件，内容如下：

apache-tomcat-5.5.25-node1目录下的startup_node1.bat内容：
set CATALINA_HOME=d:\apache-tomcat-5.5.25-node1
bin/startup.bat

apache-tomcat-5.5.25-node2目录下的startup_node2.bat内容：
set CATALINA_HOME=d:\apache-tomcat-5.5.25-node2
bin/startup.bat

然后分别运行这两批处理文件即可正常启动tomcat了。我们先启动node1，双击startup_node1.bat启动node1。我们可以在窗口的最上面看到如下的输出信息：
2008-1-4 19:12:24 org.apache.catalina.cluster.tcp.SimpleTcpCluster start
信息: Cluster is about to start
2008-1-4 19:12:25 org.apache.catalina.cluster.tcp.ReplicationTransmitter start
信息: Start ClusterSender at cluster Catalina:type=Cluster,host=localhost with n
ame Catalina:type=ClusterSender,host=localhost
2008-1-4 19:12:25 org.apache.catalina.cluster.mcast.McastServiceImpl setupSocket

信息: Setting cluster mcast soTimeout to 500
2008-1-4 19:12:25 org.apache.catalina.cluster.mcast.McastService start
信息: Sleeping for 2000 milliseconds to establish cluster membership
2008-1-4 19:12:27 org.apache.catalina.cluster.mcast.McastService registerMBean
信息: membership mbean registered (Catalina:type=ClusterMembership,host=localhos
t)
2008-1-4 19:12:27 org.apache.catalina.cluster.deploy.FarmWarDeployer start
信息: Cluster FarmWarDeployer started.
2008-1-4 19:12:29 org.apache.catalina.cluster.session.DeltaManager start
信息: Starting clustering manager...:
2008-1-4 19:12:29 org.apache.catalina.cluster.session.DeltaManager start
信息: Register manager to cluster element Host with name localhost
2008-1-4 19:12:29 org.apache.catalina.cluster.session.DeltaManager start
信息: Starting clustering manager at
2008-1-4 19:12:29 org.apache.catalina.cluster.session.DeltaManager getAllCluster
Sessions
信息: Manager []: skipping state transfer. No members active in cluster group.

这表明我们的tomcat集群已经正常启动了。然后我们再运行apache-tomcat-5.5.25-node2目录下的startup_node2.bat以启动node2。然后我们可以可以在窗口的最上方看到如下的信息输出：
2008-1-4 19:16:32 org.apache.catalina.cluster.tcp.SimpleTcpCluster start
信息: Cluster is about to start
2008-1-4 19:16:32 org.apache.catalina.cluster.tcp.ReplicationTransmitter start
信息: Start ClusterSender at cluster Catalina:type=Cluster,host=localhost with n
ame Catalina:type=ClusterSender,host=localhost
2008-1-4 19:16:32 org.apache.catalina.cluster.mcast.McastServiceImpl setupSocket

信息: Setting cluster mcast soTimeout to 500
2008-1-4 19:16:32 org.apache.catalina.cluster.mcast.McastService start
信息: Sleeping for 2000 milliseconds to establish cluster membership
2008-1-4 19:16:32 org.apache.catalina.cluster.tcp.SimpleTcpCluster memberAdded
信息: Replication member added:org.apache.catalina.cluster.mcast.McastMember[tcp
://192.168.1.227:4001,catalina,192.168.1.227,4001, alive=245203]
2008-1-4 19:16:34 org.apache.catalina.cluster.mcast.McastService registerMBean
信息: membership mbean registered (Catalina:type=ClusterMembership,host=localhos
t)
2008-1-4 19:16:34 org.apache.catalina.cluster.deploy.FarmWarDeployer start
信息: Cluster FarmWarDeployer started.
2008-1-4 19:16:35 org.apache.catalina.cluster.session.DeltaManager start
信息: Starting clustering manager...:
2008-1-4 19:16:35 org.apache.catalina.cluster.session.DeltaManager start
信息: Register manager to cluster element Host with name localhost
2008-1-4 19:16:35 org.apache.catalina.cluster.session.DeltaManager start
信息: Starting clustering manager at
2008-1-4 19:16:35 org.apache.catalina.cluster.session.DeltaManager getAllCluster
Sessions
警告: Manager [], requesting session state from org.apache.catalina.cluster.mcas
t.McastMember[tcp://192.168.1.227:4001,catalina,192.168.1.227,4001, alive=248203
]. This operation will timeout if no session state has been received within 60 s
econds.
2008-1-4 19:16:35 org.apache.catalina.cluster.session.DeltaManager waitForSendAl
lSessions

请注意node2窗口输出的不同颜色部分，这个已经表示node2节点和node2节点联系上了。我们再回过来看node1窗口的输出信息，发现多出了如下的信息：
2008-1-4 19:16:34 org.apache.catalina.cluster.tcp.SimpleTcpCluster memberAdded
信息: Replication member added:org.apache.catalina.cluster.mcast.McastMember[tcp
://192.168.1.227:4002,catalina,192.168.1.227,4002, alive=0]
这表明node1也已经侦听到了node2，两个tomcat服务器已经建立了联系。然后我们访问node1的一个地址A，假设这个地址A往 session里设置一个属性，然后我们再在同一窗口中访问node2的一个地址B，假设B是从session里读取这个属性，我们会发现B地址确实得到了这个刚刚我们在node1上设置进去的值。这里要特别注意的是，我们两个地址的分别访问必须是在同一个窗口中，因为我们没有做前端的web负载，所以使用不同的窗口进行访问会出现不同的session(因为端口号不一样,也就导致访问地址不一样了)，这样就导致无法查看的问题。