Apache+mod_jk+tomcat集群搭建

环境

• 四台主机: cloud01,cloud02,cloud03,cloud04
• OS: CentOS 6.5
• Tomcat安装位置: /opt/tomcat

集群方案

• cloud02 cloud03 cloud04 为 tomcat 节点
• cloud01 上的 apache 做负载均衡
• 端口均使用标准端口, 因为是部署在不同的机器上

安装 Apache

yum install httpd
# 完成后 需要在 /etc/httpd/conf/httpd.conf 中添加一句
# ServerName localhost

如果想要使用 apachectl status 命令 需要 elinks yum install elinks -y 和 mod_status, 一般 mode_status 是默认加载的,但是还要一点配置.

在 httpd.conf 中添加如下配置

ExtendedStatus on
<IfModule mod_status.c>
    # Allow server status reports generated by mod_status,
    # with the URL of http://servername/server-status
    # Change the ".example.com" to match your domain to enable.
    #
    <Location /server-status>
        SetHandler server-status
        Order deny,allow
        Allow from all
    </Location>
</IfModule>

如果配置后还有 /server/status 错误, 参考这里

编译/配置 mod_jk

编译 mod_jk

# 使用的时候最新版本为 1.2.40
# 可以查看其他版本 http://www.apache.org/dist/tomcat/tomcat-connectors/jk/
# 这里有点扯淡的是 1.2.40的脚本都是 dos 格式的, 需要先 dos2unix
# 所以我直接换了个版本 使用的 1.2.39 的, 代码格没问题

wget http://www.apache.org/dist/tomcat/tomcat-connectors/jk/tomcat-connectors-1.2.39-src.zip
unzip tomcat-connectors*.zip
cd tomcat-connectors*
cd native
yum install -y httpd-devel
./configure --with-apxs=/usr/sbin/apxs
make
make install

配置 mod_jk.conf

新建 /etc/httpd/conf/mod_jk.conf, 写入如下内容

# 加载mod_jk Module
# /usr/lib64/httpd/modules/mod_jk.so
LoadModule jk_module modules/mod_jk.so

# 指定workers.properties文件路径 
JkWorkersFile conf/workers.properties

# 指定那些请求交给tomcat处理
# "controller"为在workers.propertise里指定的负载分配控制器名
JkMount /* controller

配置 workers.properties

新建 /etc/httpd/conf/workers.properties, 写入如下内容

#server
worker.list = controller
#========cloud03========
#ajp13端口号，在tomcat下server.xml配置,默认 8009
worker.cloud03.port=8009

#tomcat的主机地址，如不为本机，请填写ip地址 
worker.cloud03.host=cloud03

#协议类型
worker.cloud03.type=ajp13

# server的加权比重，值越高，分得的请求越多。
# lbfactor是负载平衡因数(Load Balance Factor)
worker.cloud03.lbfactor=1

#========cloud02========
worker.cloud02.port=8009
worker.cloud02.host=cloud02
worker.cloud02.type=ajp13
worker.cloud02.lbfactor=1

#========cloud04========
worker.cloud04.port=8009
worker.cloud04.host=cloud04
worker.cloud04.type=ajp13
worker.cloud04.lbfactor=1

#========controller,负载均衡控制器========
#负载均衡控制器类型，lbfactor是负载平衡因数(Load Balance Factor)
worker.controller.type=lb

#指定分担请求的tomcat列表
worker.controller.balanced_workers=cloud03,cloud02,cloud04

# 粘性session(默认是打开的) 
# 当该属性值=true（或1）时，代表session是粘性的，
# 即同一session在集群中的同一个节点上处理，
# session不跨越节点。在集群环境中，一般将该值设置为false
worker.controller.sticky_session=false

# 设置用于负载均衡的server的session可否共享
worker.controller.sticky_session_force=1

修改 httpd.conf

修改/etc/httpd/conf/httpd.conf,在最后添加:

Include conf/mod_jk.conf

配置 tomcat

安装 tomcat 只需要下载解压就可以了, 没什么特殊的.以下的配置都是在 server.xml 中进行的. 该配置文件在 tomcat 安装目录中 conf 目录下.

搜索 Engine 节点, 添加 jvmRoute 属性为之前 worker.properties 配置的名字.因为我在配置 worker.propertis 时都是使用的主机名,所以 cloud02 修改后就是

<Engine name="Catalina" defaultHost="localhost" jvmRoute="cloud02">

cloud03, cloud04 也这样修改.

然后在 </Engine> 前, 加入如下内容.

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">

  <Manager className="org.apache.catalina.ha.session.DeltaManager"
           expireSessionsOnShutdown="false"
           notifyListenersOnReplication="true"/>

  <Channel className="org.apache.catalina.tribes.group.GroupChannel">
    <Membership className="org.apache.catalina.tribes.membership.McastService"
                    address="228.0.0.4"
                    port="45564"
                    frequency="500"
                    dropTime="3000"/>
        <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                  address="auto"
                  port="4000"
                  autoBind="100"
                  selectorTimeout="5000"
                  maxThreads="6"/>

    <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
        <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
    </Sender>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
  </Channel>

  <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>
  <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

  <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
            tempDir="/tmp/war-temp/"
            deployDir="/tmp/war-deploy/"
            watchDir="/tmp/war-listen/"
            watchEnabled="false"/>

  <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>

启动集群

# 在 cloud01 中操作
ssh cloud01
# 启动 apache 需要 root 权限
sudo apachectl restart
# 启动所有节点
# 注意: 下面 tomcat 的路径需要根据个人的安装来修改
for i in $(echo 02 03 04);
do
    ssh "cloud$i" /opt/tomcat/bin/startup.sh;
done;

# 查看运行状态, 确保有 BootStrap 进程
for i in $(echo 02 03 04); do echo ====$i====;ssh "cloud$i" jps; done;

集群配置完成后可以通过刷新 http://cloud01/manager/status 这个页面, 观察 IP address 来判断是否成功.

其他

有的 tomcat 配置提到 <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>, 该类在 tomcat8 中已经移除了.参看