Terracotta + Apache + Tomcat 负载均衡实践篇

前言

这两天在学习ehcache分布式缓存方案时接触到了Terracotta。几年前刚做开发工作时想用Terracotta集群SpringBeans，当时网上资料少，尝试很久没成功就没继续下去了。

于是我又在网上搜罗一些资料，发现这玩意已经很成熟了，有很多深度应用的产品，分布式缓存、调度等。引用网上的描述：

Terracotta是一款由美国Terracotta公司开发的著名开源Java集群平台。它在JVM与Java应用之间实现了一个专门处理集群功能的抽象层，以其特有的增量检测、智能定向传送、
分布式协作、服务器镜像、分片等技术，允许用户在不改变现有系统代码的情况下实现单机Java应用向集群话应用的无缝迁移。使得用户可以专注于商业逻辑的开发，
由Terracotta负责实现高性能、高可用性、高稳定性的企业级Java集群

运行环境

1. JDK1.6.22 + Tomcat6 + Apache2.2.19 + Terracotta Open Source 3.5.2 + zlib1.2.3（安装apache需要）
2. 模拟双机环境：本机Window 7操作系统（布署Tomcat，Terracotta，IP:192.168.1.51 ） + VMware 虚拟机 Linux系统（布署Apache，Tomcat，IP:192.168.1.207）。
3. 在Terracotta + Apache + Tomcat 负载均衡构架中，Terracotta 起到session服务器作用，实时多机间的session缓存与复制（JVM Field级别，比Tomcat自带的效率高）。

实施布骤

win7系统 

1.安装Terracotta(下载地址：http://www.terracotta.org/dl/oss-download-catalog)

下载后直接点击安装，完成后关注安装目录下的sessions目录，里面有其于jetty服务器的example和依赖的jar。其中的cart.war被我用做集群的测试工程。

2.安装Tomcat JDK等省略（网上查资料）。

linux系统

1.安装 Tomcat JDK等省略（网上查资料）

2.安装  zlib-1.2.3.tar.gz（下载地址：http://ishare.iask.sina.com.cn/f/14331439.html?from=like）， apache服务器安装时没有这个库会报错。

将zlib-1.2.3.tar.gz拷贝至/usr/目录

# tar -zxvf zlib-1.2.3.tar.gz

# cd zlib-1.2.3

# ./configure

# make

# make install

3. 安装 Apache 服务器（下载地址：http://httpd.apache.org/download.cgi）

将 httpd-2.2.19.tar.gz 拷贝到/usr/目录

# tar -zxvf httpd-2.2.19.tar.gz

# cd /usr/httpd-2.2.19/

#./configure --prefix=/usr/local/apache --enable-modules=so --enable-mods-shared=all --enable-proxy --enable-proxy-connect --enable-proxy-ftp --enable-proxy-http --enable-proxy-ajp --enable-proxy-balancer --enable-rewrite

# make
# make install
4.apache已被安装至/usr/local/apache
第二步、配置集群
配置Tomcat（两台机器的Tomcat相同）
 1.拷贝${Terracotta_Home}/sessions/terracotta-session-1.1.2.jar和${Terracotta_Home}/common/terracotta-toolkit-1.3-runtime-3.2.0.jar至tomcat安装目录的lib目录。
2.修改conf/context.xml文件

<Context>
    <!-- Default set of monitored resources -->
    <WatchedResource>WEB-INF/web.xml</WatchedResource>
    <!--加上这一句，Terracotta 代理HttpServletSession-->
    <Valve className="org.terracotta.session.TerracottaTomcat60xSessionValve" tcConfigUrl="192.168.1.51:9510"/>
</Context>

3.修改conf/server.xml文件
a.保证 <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />没有被注释，AJP协议是Apache负载均衡时与后端主机的二进制 通讯协议。
b.如果配置粘性Session，需要配置服务器路径名jvmRoute。

<!--粘性Session配置
<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm1">  <pre name="code" class="plain">--></pre><pre name="code" class="plain"><Engine name="Standalone" defaultHost="localhost">
</pre><br>

配置Apache服务器
1.Proxy配置，创建文件并编辑以下内容，并保存为/usr/local/apache/conf/extra/httpd-modproxy.conf

<Location /server-status>
    SetHandler server-status
    Order Deny,Allow
    Deny from all
    Allow from all
</Location>
# 监控负载主机活动状态,响应连接与流量等，生产环境建议拿掉。
<Location /balancer-manager>
    SetHandler balancer-manager
    Order Deny,Allow
    Deny from all
    Allow from all
</Location>
ProxyRequests Off
<pre name="code" class="plain">ProxyPass /cart balancer://tomcatcluster nofailover=On
</pre><span style="color:#FF0000;"># 粘性Session使用以下配置<br># ProxyPass /cart balancer://tomcatcluster  stickysession=JSESSIONID|jsessionid nofailover=On</span><br># 反向代理,响应头信息的 Content-Location<br>ProxyPassReverse /cart balancer://tomcatcluster<br><Proxy balancer://tomcatcluster>    <br><span style="color:#FF0000;"># 粘性Session配置<br># BalancerMember ajp://192.168.1.51:8009/cart loadfactor=1 route=jvm1<br># BalancerMember ajp://192.168.1.207:8009/cart loadfactor=1 route=jvm2</span><br>  BalancerMember ajp://192.168.1.51:8009/cart <br>  BalancerMember ajp://192.168.1.207:8009/cart <br><span style="color:#FF6666;"># status=+H 为配置热备,当所有机器都over时，才会请求该机器。<br># BalancerMember http://192.168.1.51:8009 status=+H <br># 按照权重   <br># ProxySet lbmethod=bytraffic    <br># 按负载量，也就是负载少的派发请求  <br># ProxySet lbmethod=bybusyness<br># 按请求次数 </span><br>  ProxySet lbmethod=byrequests<br></Proxy>

注意：

1.ProxyPass 配置的是映射策略，当使用粘性Session策略时stickysession=JSESSIONID|jsessionid是必须的。

2.BalancerMember 配置的是子机的地址。
3.ProxySet配置的是负载均衡策略bytraffic、bybusyness、byrequests，我这里配置的是按请求次数。
4.当使用权重负载策略时BalancerMember可加上loadfactor权重属性。
5.当需要粘性Session时BalancerMember属要加上route路线属性，对应于Tomcat的context.xml中的配置。

2.修改conf/httpd.conf文件
a.确保以下几点未被注释

LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_connect_module modules/mod_proxy_connect.so
LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
LoadModule status_module modules/mod_status.so

b.增加以下内容用于导入Proxy配置文件：

# Proxypass Config
Include conf/extra/httpd-modproxy.conf

目前为止配置已大功告成

第三步、启动服务
1.先启动Terracotta服务器，否则Tomcat会因为找不到Terracotta而Warn。
${Terracotta_home}/bin/start-tc-server.bat
2.启动两台机器的Tomcat，
${tomcat_home}/bin/startup.bat或startup.sh(linux系统)，如果与Terracotta连接成功，可以看到如下画面。

3.启动Apache服务器
# /usr/local/apache/bin/apachectl start（停止服务是apachectl  stop）。
第四步、测试结果
前面提供cart.war示例，我已预先放到tomcat的webapp下。
打开浏览器输入：http://192.168.1.207/cart，显示映射成功：
多刷新几次页面后查看http://192.168.1.207/balancer-manager， Elected均匀分布，负载均衡起作用了。


把基中一台Tomcat关闭，再次刷新页面，没有任何问题。用户完全感觉不出来主机故障。这就是传说中的故障转移吧。。呵呵，在公司没机会实践只能自己弄来玩玩而已了。

再打开Terracotta 控制台看看，Session被缓存在主机上了。有两个Session是因为我开了两个浏览器，实际上负载均衡的两台Tomcat是共享Session的，当然也可以把Web应用设计成无用户状态的，那就不需要Terracotta 。