Apache整合Tomcat、集群

Apache整合Tomcat、集群

 

目录

1.1     使用mod_proxy整合

1.2     使用mod_jk整合

1.3     集群

1.3.1    Tomcat集群配置

1.3.2    mod_proxy进行负载均衡

1.3.3    mod_jk进行负载均衡

 

       Apache整合Tomcat主要有两种方式，通过mod_proxy整合和通过mod_jk整合。

 

1.1     使用mod_proxy整合

       使用mod_proxy整合Tomcat需要我们开启Apache的代理功能，代理功能的开启可以通过在Apache的conf/httpd.conf文件中将如下内容前的“#”号去除，这样Apache就能在运行的时候加载mod_proxy模块了，从而开启了Apache的代理功能。

#LoadModule proxy_module modules/mod_proxy.so

 

       开启了mod_proxy之后我们还需要选择一个协议来作为Apache代理Tomcat的协议，可以是AJP协议、Http协议等。如果需要使用Http协议，那么请将Apache的conf/httpd.conf文件中如下内容前的“#”号去除（需要使用其它的协议时使用类似的方式）。Tomcat的官方文档说在进行Tomcat集群时使用AJP协议比使用Http协议的性能要更好（It should be noted that the performance of HTTP proxying is usually lower than the performance of AJP, so AJP clustering is often preferable.）。

#LoadModule proxy_http_module modules/mod_proxy_http.so

 

       Apache的代理有两种方式，Reverse方式和Forward方式。Forward方式需要在客户端进行配置以利用代理服务器获取目标内容，Forward方式的一种常见场景就是我们的内网机器都无法连接外网，但是其中有一台可以连接，然后我们在可以连接外网的机器上搭建一个代理，让其它内网机器都通过该代理来访问外部网络。Reverse方式就无需在客户端进行配置了，客户端请求的目标地址是直接对应Reverse代理的，然后由Reverse代理在内部决定请求哪个真实的地址。本文将主要讲解Reverse代理方式。

 

       首先去掉httpd.conf文件中如下内容前的“#”号，以将Virtual Host的配置包含在Apache服务器的配置文件中，然后我们就可以在httpd-vhosts.conf文件中进行Virtual Host的配置了。

#Include conf/extra/httpd-vhosts.conf

 

       然后，我们在conf/extra/httpd-vhosts.conf文件中添加如下内容，其表示我们定义了一个虚拟主机，该虚拟主机将接收任何请求。

<VirtualHost *:80>

    ProxyPass "/" "http://localhost:8080/" max=300

       ProxyPassReverse "/" "http://localhost:8080/"

</VirtualHost>

 

       上述的指令ProxyPass是用来映射代理的路径的，其语法是：

       ProxyPass path !|url [key=value[key=value…]]

 

       其中path表示Apache请求的相对路径，而“!”则表示不对该路径进行代理，url则表示需要代理的路径，后面的key=value表示需要指定的参数。在我们的示例中就是使用根路径“/”代理本地8080端口的根路径“/”，然后参数max表示同时最多允许300个对后台代理服务的并发请求。关于ProxyPass的更多信息请参考http://httpd.apache.org/docs/2.4/zh-cn/mod/mod_proxy.html#proxypass。

 

       指令ProxyPassReverse是用来对后台代理应用返回过来的Response Header中的URL进行转换的，使其能够以Apache的形式正确的展示。比如请求后台服务后需要重定向到http://localhost:8080/examples则通过ProxyPassReverse指令进行转换后将会把重定向地址改为http://localhost/examples。

 

       这个时候我们在8080端口启动Tomcat，然后在80端口启动Apache，之后我们所有对80端口的请求都将由Apache代理请求到8080端口的Tomcat应用。

 

       如下这样的配置就表示不对“/examples”路径进行代理，此时访问“/examples”时将去Apache自己的路径下寻找对应的资源。

<VirtualHost *:80>

    ProxyPass "/examples" "!"

       ProxyPass "/" "http://localhost:8080/" max=300

       ProxyPassReverse "/" "http://localhost:8080/"

</VirtualHost>

 

       此时如果你在浏览器里面访问http://localhost/examples时会得到一个403页面，原因是Apache默认会禁止对根目录以外的路径的访问。此时，我们需要找到httpd.conf文件中的如下内容：

<Directory />

    AllowOverride none

    Require all denied

</Directory>

 

       并将其修改为如下内容：

<Directory />

    AllowOverride none

    Order Deny,ALlow

       Allow from All

</Directory>

 

       更多内容请参考http://httpd.apache.org/docs/2.4/mod/mod_proxy.html。

 

1.2     使用mod_jk整合

       首先我们需要下载mod_jk.so，其由Tomcat提供，可以从网址http://tomcat.apache.org/connectors-doc/寻找对应Apache版本的mod_jk.so进行下载。下载后将mod_jk.so放到Apache服务器的modules目录下。

 

       然后在httpd.conf文件的末尾加上如下内容以加载mod_jk。

# 加载mod_jk模块

LoadModule    jk_module  modules/mod_jk.so

# 指定workers.properties文件的路径

JkWorkersFile conf/workers.properties

# 指定Jk的日志输出路径

JkLogFile     logs/mod_jk.log

# 指定Jk日志文件的输出级别，[debug/info/error]

JkLogLevel    info

# 指定日志输出时间的格式

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

 

       之后可以在extra/httpd-vhosts.conf文件中加上如下内容（注意需要在httpd.conf文件中include extra/httpd-vhosts.conf文件）。

<VirtualHost *:80>

       # 指定交给worker1进行处理的路径

       JkMount /* worker1

       # 指定不交给worker1进行处理的路径

       JkUnMount /examples/* worker1</VirtualHost>

 

       上述指令所代表的含义已经在注释中给出，关于针对Jk Module的更多配置信息官方文档http://tomcat.apache.org/connectors-doc/reference/apache.html的配置说明。

 

       接下来需要在我们指定的workers.properties文件中定义对应的worker。这里我们指定如下。

#指定需要定义的worker列表，多个worker之间使用逗号分隔

worker.list=worker1

#指定worker1的type

worker.worker1.type=ajp13

#指定worker1连接的Tomcat的IP

worker.worker1.host=localhost

#指定worker1连接tomcat的端口，因为我们worker1使用的type为ajp13，这里需要是ajp13协议的端口

worker.worker1.port=8009

#指定worker1对应的连接池的大小

worker.worker1.connection_pool_size=300

 

       使用ajp13协议时，对应的连接端口对应于我们的Tomcat的server.xml文件中配置的ajp13协议的端口，如：

    <!-- Define an AJP 1.3 Connector on port 8009 -->

    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

 

       更多关于workers.properties文件可以配置的信息请参考Tomcat的官方文档。http://tomcat.apache.org/connectors-doc/reference/workers.html。

 

       通过如上配置后除了/examples下的内容以外，我们就完全把Tomcat交给了Apache代理。

1.3    集群

       Apache整合Tomcat进行集群是将多个Tomcat进行集群，集群的各个节点之间可以进行Session的同步等，然后通过上述介绍的两种方式使用Apache代理以实现对各个节点之间的负载均衡。其实除了Apache服务器对Tomcat集群进行负载均衡外，常用的进行负载均衡代理的还有Nginx，本文的主题是Apache整合Tomcat，所以不会对Nginx代理Tomcat集群进行讲解，有兴趣的朋友可以自己查阅相关的文档进行了解。

 

1.3.1Tomcat集群配置

       Tomcat的集群配置最简单的方式是将Tomcat的conf目录下的server.xml文件中的<cluster>标签的注释打开。

      <!--

      <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

      -->

 

       注意如果是在同一台电脑上同时启动多个Tomcat进行集群时需要保证各个Tomcat使用的Server端口、Http端口和Ajp端口都是各不相同的。

 

       只配置一个<Cluster className=”org.apache.catalina.ha.tcp.SimpleTcpCluster”/>时Tomcat默认会为我们配置如下内容：

        <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"

                 channelSendOptions="8">

 

          <Manager className="org.apache.catalina.ha.session.DeltaManager"

                   expireSessionsOnShutdown="false"

                   notifyListenersOnReplication="true"/>

 

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">

            <Membership className="org.apache.catalina.tribes.membership.McastService"

                        address="228.0.0.4"

                        port="45564"

                        frequency="500"

                        dropTime="3000"/>

            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

                      address="auto"

                      port="4000"

                      autoBind="100"

                      selectorTimeout="5000"

                      maxThreads="6"/>

 

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">

              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>

            </Sender>

            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>

            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>

          </Channel>

 

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

                 filter=""/>

          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

 

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"

                    tempDir="/tmp/war-temp/"

                    deployDir="/tmp/war-deploy/"

                    watchDir="/tmp/war-listen/"

                    watchEnabled="false"/>

 

          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener">

          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener">

        </Cluster>

 

       关于Tomcat集群的详细配置信息请参考Tomcat的官方文档http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html。

       使用Tomcat进行集群时，如果我们Session能够在多个节点之间进行自动复制，我们需要保证存在在Session中的attribute都是可序列化的，即都是实现了java.io.Serializable接口的，此外我们需要部署在每个Tomcat节点上的应用的web.xml文件中定义了<distribuable/>。

 

1.3.2mod_proxy进行负载均衡

       为使用mod_proxy能够支持负载均衡，我们需要加载mod_proxy_balancer模块，该模块提供的功能就是负载均衡，但是使用的负载均衡算法并不由它提供，而是由对应的算法模块提供。Apache自带的算法模块有如下四种。

LoadModule lbmethod_bybusyness_module modules/mod_lbmethod_bybusyness.so

LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so

LoadModule lbmethod_bytraffic_module modules/mod_lbmethod_bytraffic.so

LoadModule lbmethod_heartbeat_module modules/mod_lbmethod_heartbeat.so

 

       mod_proxy_balancer默认使用的负载均衡算法是byrequests，所以默认情况下我们还需要加载mod_lbmethod_byrequests模块。此外，还需要加载提供共享内存的模块mod_slotmem_shm.so。所以，总的来说我们需要加载如下三个模块。

LoadModule proxy_balancer_module modules/mod_proxy_balancer.so

LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so

LoadModule slotmem_shm_module modules/mod_slotmem_shm.so

 

       接下来，我们可以在VirtualHost下配置如下内容：

<VirtualHost *:80>

       <Proxy "balancer://elim">

              #定义负载均衡的成员，loadfactor用于指定负载权重的

              BalancerMember "http://localhost:8080" loadfactor=1

              BalancerMember "http://localhost:9090" loadfactor=2

              #ProxySet指令用于设定balancer的参数

              ProxySet lbmethod=byrequests

       </Proxy>

       #代理什么路径就在balancer://elim后加什么路径

       ProxyPass "/" "balancer://elim/"

       ProxyPassReverse "/" "balancer://elim/"

</VirtualHost>

 

       在上述配置中我们通过<Proxy>标签来定义了一个负载均衡代理，名叫“balancer://elim”，在使用<Proxy>标签进行代理的定义时，如果我们的前缀是以“balancer://”开始的，则定义的是一个负载均衡代理。在其中可以通过BalancerMember来指定对应的成员，loadfactor用来指定对应的负载权重。通过ProxySet指令我们指定了负载均衡代理balancer://elim的负载均衡算法为byrequests，这也是负载均衡代理的默认算法。然后通过ProxyPass指定对应路径的代理时，我们就可以指定为我们定义的负载均衡代理balancer://elim。需要注意的是如果我们需要代理的是根路径，需要在balancer://elim后也加上根路径“/”。通过如上配置以后我们的负载均衡代理就建立起来了。

       关于mod_proxy_balancer负载均衡的更多介绍请参考文档http://httpd.apache.org/docs/2.4/mod/mod_proxy_balancer.html。更多负载均衡配置信息请参考http://httpd.apache.org/docs/2.4/mod/mod_proxy.html。

 

       Apache为我们提供了一个mod_status模块，通过该模块我们可以监测我们的负载均衡代理的运行情况，或在运行时修改我们的负载均衡的成员的配置信息。首先我们需要加载mod_status模块。

LoadModule status_module modules/mod_status.so

 

       然后我们需要在httpd.conf文件中通过Location指定我们监测负载均衡的路径和对应的处理器。如下配置则表示我们将监测路径定义为/balancer-status，对应的处理器为balancer-manager，然后允许所有的用户请求该地址。

<Location /balancer-status>

       SetHandler balancer-manager

    Order deny,allow

    Allow from all

</Location>

 

     如果我们需要监测的是我们的Apache服务器的运行情况，则可以将上述的SetHandler设置为server-status。需要注意的是当和代理一起使用的时候，需要避免指定的访问路径和代理的代理路径相冲突，此时需要我们将监测Apache服务器运行情况的访问路径从代理中移除。

 

1.3.3mod_jk进行负载均衡

       当使用mod_jk进行负载均衡的时候，我们需要修改我们的workers.properties文件的定义。此时，我们将workers.properties的内容修改为如下形式。

worker.list=cluster

#指定名为cluster的worker的类型是lb，即负载均衡

worker.cluster.type=lb

#指定负载均衡worker的参与者为worker1和worker2

worker.cluster.balance_workers=worker1,worker2

#当为true时同一个Session发送的请求只会代理到相同的Tomcat节点上

worker.cluster.sticky_session=false

#表示是否强制绑定session，该参数只针对sticky_session为true时才有效。当sticky_session和sticky_session_force都为true

#时，如果对应Session的Tomcat不可用了，对应的请求将会返回对应的错误页面给客户端，否则将由其它节点来进行接管处理。

worker.cluster.sticky_session_force=false

#指定worker1连接Tomcat的协议类型

worker.worker1.type=ajp13

#指定worker1的对应的Tomcat的IP

worker.worker1.host=localhost

#指定worker1连接Tomcat时使用的端口号

worker.worker1.port=8009

#指定worker1在集群中负载的权重为1，数字越大负载越高

worker.worker1.lbfactor=1

#指定worker2连接Tomcat的协议类型

worker.worker2.type=ajp13

#指定worker2的对应的Tomcat的IP

worker.worker2.host=localhost

#指定worker2连接Tomcat时使用的端口号

worker.worker2.port=18009

#指定worker2在集群中负载的权重为2，由于worker1为1，所以worker2将占总负载的2/3。

worker.worker2.lbfactor=2

       该配置表示我们的Tomcat集群中拥有两台Tomcat服务器，然后这两台Tomcat都是部署在同一台服务器上的。接下来，我们需要告诉Apache哪些请求将交给我们的负载均衡worker——cluster处理。

<VirtualHost *:80>

 

       # 指定将所有的请求都交给我们的负载均衡worker——cluster进行处理。

       JkMount /* cluster

</VirtualHost>

 

       使用mod_jk进行负载均衡的时候需要注意的是我们需要在我们的Tomcat的server.xml文件中为我们的Engine指定jvmRoute，且对应的值还必须和我们在workers.properties文件中指定的负载均衡worker的名称一致。

    <Engine name="Catalina" defaultHost="localhost" jvmRoute="worker1">

 

       经过上述配置以后我们的mod_jk对Tomcat集群的负载均衡就搭建好了。其默认的负载均衡策略是通过Request来进行负载均衡的，我们可以通过在worker.properties文件中对类型为lb的worker指定其method属性来显示的指定负载均衡策略。除了Request外，还有Session、Next、Traffic、Business，关于这几种负载均衡策略的详细介绍请参考文档http://tomcat.apache.org/connectors-doc/reference/workers.html。

 

       mod_jk中有一类特殊的worker类型，status类型，它可以用来监测worker的运行情况和在运行时动态更改worker的配置信息等。定义status类型的worker非常简单，只需要指定一个worker的type为status，同时在worker.list中进行声明。

#指定名为cluster的worker的类型是lb，即负载均衡

worker.cluster.type=lb

#指定负载均衡worker的参与者为worker1和worker2

worker.cluster.balance_workers=worker1,worker2

#当为true时同一个Session发送的请求只会代理到相同的Tomcat节点上

worker.cluster.sticky_session=false

#表示是否强制绑定session，该参数只针对sticky_session为true时才有效。当sticky_session和sticky_session_force都为true

#时，如果对应Session的Tomcat不可用了，对应的请求将会返回对应的错误页面给客户端，否则将由其它节点来进行接管处理。

worker.cluster.sticky_session_force=false

…

…

#指定worker的类型为status

worker.status.type=status

 

       之后我们需要为类型为status的worker指定一个对应的访问路径。

<VirtualHost *:80>

       # 指定将请求路径/status交给名叫status的worker处理。

       JkMount /status status

       # 指定将所有的请求都交给我们的负载均衡worker——cluster进行处理。

       JkMount /* cluster

</VirtualHost>

 

       这样我们在请求路径为/status的时候就可以监测worker的运行状态等信息了。更多关于类型为status的worker的介绍请参考官方文档http://tomcat.apache.org/connectors-doc/reference/status.html。

 

参考文档

       http://httpd.apache.org/docs/2.4/mod/mod_proxy.html

       http://tomcat.apache.org/connectors-doc/reference/apache.html

       http://tomcat.apache.org/connectors-doc/reference/workers.html

       http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html

       http://tomcat.apache.org/connectors-doc/generic_howto/loadbalancers.html

       http://tomcat.apache.org/connectors-doc/reference/status.html

       http://httpd.apache.org/docs/2.4/mod/mod_proxy_balancer.html

       http://httpd.apache.org/docs/2.4/mod/mod_status.html

 

（注：本文是基于Apache Tomcat7.0.50版本和Apache Httpd2.4版本所写）

（注：原创文章，转载请注明出处。原文地址：http://haohaoxuexi.iteye.com/blog/2247244）