AS7群集配置

这篇文档已经和最新版的JBoss EAP6和WildFly有出入了,建议参考我写的英文版的文档,会持续更新:https://community.jboss.org/wiki/AS7ClusterHowto

AS7的群集功能,从大的框架上来讲承袭沿用以往版本的设计,核心仍是基于JGroup。因此如果对以往JBoss AS的群集功能使用比较熟悉的话,会觉得AS7的群集并不难上手。

但从细节角度来讲,AS7的群集功能设计有了多方面改进:首先是简化了配置文件,实现单点式配置;此外,AS7中引入了域的概念,通过域对群集内各主机实现了统一配置部署。本文详细介绍AS7下群集的使用方法。

阅读本文之前,必须先了解AS7中域的概念,可参考这篇文章:

http://bluedash.iteye.com/blog/1279160


如果你按照上面的方法成功地配置好了AS7下的域模式,并成功地部署了一个项目至AS7的域,那么就可以继续阅读本文了。

如果你没看完上面的文章,并且没有进行动手实验,请不要继续阅读本文,否则只是浪费时间!

从AS7开始,群集配置被大大简化,并且当AS7运行在域控模式下时,群集默认是自发现,自启动的。虽然配置变得更为傻瓜,但我们仍需了解一些技术细节,从而可以理解AS7为我们提供的默认群集配置,并根据自己的需要进行配置调整。下面是详细讲解:

AS7的群集配置主要集中在域控制器的配置文件domain.xml里。在domain.xml中,默认有两个profile,一个是default,一个是ha:

<profile name="default">...</profile>
<profile name="ha">...</profile>


其中,ha这个profile里面配置了群集的所需组件(ha的含义代表High Availability,高可用)。这其中主要包括JGroup,Infinispan和modcluster:

<profile name="ha">
<subsystem xmlns="urn:jboss:domain:infinispan:1.1">...</subsystem>
<subsystem xmlns="urn:jboss:domain:modcluster:1.0">
	<mod-cluster-config advertise-socket="modcluster"/>
</subsystem>
<subsystem xmlns="urn:jboss:domain:jgroups:1.0" default-stack="udp">
	<stack name="udp">...</stack>
	<stack name="tcp">...</stack>
</subsystem>
</profile>


这三个组件都是构成AS7群集的要素:

* JGroup用与群集中多AS服务器之间的通信和连接。有关JGroup的详细配置,需要对JGroup本身有一个了解,本文不详细展开这一块。
* Infinispan从AS7开始,开始代替JBoss Cache承担缓存的功能
* modcluster负责Apache HTTPD与AS群集的连接工作。通过HTTPD作为前端,为用户提供一个统一的群集访问点,后面负责将负载分担至群集内各节点。

有关Infinispan可以多说几句:这个项目的引入是AS7的亮点之一,有兴趣可以去它的项目网站上进行深入的了解:

http://www.jboss.org/infinispan


AS7利用Infinispan为多个模块提供缓存服务,包括:

* 为群集提供缓存
* 为Hibernate提供二级缓存
* 为Stateful Session Bean提供群集复制缓存
* 为web项目的session群集复制提供缓存

这一点可以从刚刚提到的domain.xml中的ha配置中看到,我们稍微展开一下Infinispan子系统的配置:

<subsystem xmlns="urn:jboss:domain:infinispan:1.1">
	<cache-container name="cluster">...</cache-container>
	<cache-container name="web">...</cache-container>
	<cache-container name="sfsb">...</cache-container>
	<cache-container name="hibernate">...</cache-container>
</subsystem>


可以看到,Infinispan为刚才说明的4个部分提供缓存。这块已经完全替代了AS6及原有JBoss AS版本中的JBoss Cache。

接下来我们要看domain.xml中另一块与群集相关的配置:

<socket-binding-groups>
	<socket-binding-group name="standard-sockets">...</socket-binding-group>
	<socket-binding-group name="ha-sockets">...</socket-binding-group>
</socket-binding-groups>


在协议层配置方面,我们发现有domain.xml为我们配置好了一个ha-sockets的端口绑定方案。最后,在server-group中,我们可以在domain.xml中发现一个配置好的,支持群集的服务器组:

<server-groups>
	<server-group name="other-server-group" profile="ha">
		<socket-binding-group ref="ha-sockets"/>
	</server-group>
</server-groups>


可以看到,这个other-server-group使用了ha这个配置方案,并在协议层绑定至ha-sockets。

因此通过以上分析,如果我们想使用AS7提供的群集功能,在默认情况下,将项目部署至other-server-group这个服务器组即可。接下来是实际操作的过程:

首先保证你已经按照文章一开始说的,根据这篇文章:

http://bluedash.iteye.com/blog/1279160


配置好了域模式来启动AS7。这里要说明一下,AS7的群集功能并不依赖于域管理功能,但是在AS7下,域管理功能和群集结合起来用是推荐的使用方式,通过域管理可以对群集内各AS服务器节点进行统一管理,非常方便。并且我也看不到为什么要不使用域而独立使用群集功能的原因,因此本文都是基于AS7在域模式下运行时的群集配置来讲解的。

在动手使用AS7的群集功能之前,有一点要非常注意,一定要下载使用版本>=7.1.0.CR1b的JBoss AS。否则你会遇到这个BUG:

https://issues.jboss.org/browse/AS7-2738


JBoss AS的下载地址位于:

http://www.jboss.org/jbossas/downloads/


下载完成后,可以按照《JBoss AS7中的新概念-域》一文中的方法将master和slave两台主机运行起来。但有一点需要注意,我们要使用domain.xml中不同的服务器组来部署群集应用:

    <server-groups>
        <server-group name="main-server-group" profile="default">
            <jvm name="default">
               <heap size="64m" max-size="512m"/>
            </jvm>
            <socket-binding-group ref="standard-sockets"/>
        </server-group>
        <server-group name="other-server-group" profile="ha">
            <jvm name="default">
               <heap size="64m" max-size="512m"/>
            </jvm>
            <socket-binding-group ref="ha-sockets"/>
        </server-group>
    </server-groups>


注意到在server-groups之中,有一个名为“other-server-group”的服务器组,默认使用ha配置方案,并且绑定至ha-sockets。部署在这个服务器组中的项目,将可以组建群集。

此外还有一点配置需注意,在master和slave的host.xml中,要为使用other-server-group的主机使用相同的端口offset。下面分别是master和slave中host.xml的相关配置。首先是master的配置:

    <servers>
...
        <server name="server-three" group="other-server-group" auto-start="true">
            <!-- server-three avoids port conflicts by incrementing the ports in
                 the default socket-group declared in the server-group -->
            <socket-bindings port-offset="250"/>
        </server>
    </servers>


然后是slave中的host.xml配置:

    <servers>
...
        <server name="server-three-slave" group="other-server-group" auto-start="true">
            <!-- server-three avoids port conflicts by incrementing the ports in
                 the default socket-group declared in the server-group -->
            <socket-bindings port-offset="250"/>
        </server>
    </servers>


这里的重点是master和slave的端口port-offset都设定为250。因为我们要用这两台主机组建一个群集,如果两个主机服务于不同的端口,那么将会在后续两台主机分担请求时造成不必要的麻烦。此外,在本文中后续我们将使用mod_cluster来将用户请求分派至JBoss AS群集内各节点,而mod_cluster需要群集内各JBoss AS节点服务于相同端口,才能保证正确地将请求分派。

下面再多说几句关于host.xml中的server的port-offset的问题。为什么我们要设置port-offset呢?因此AS7支持同时运行多服务器,并且不同的服务器可以运行于不同的服务器组,这有点类似于Apache HTTPD中虚拟主机的概念,运行一个服务器,可以服务于多个域名,跑很多项目。

因此,如果AS同时跑着多个服务器,为避免端口冲突,就需要使用port-offset将不同的服务器置于不同的端口之下。比如:

    <servers>
        <server name="server-one" group="main-server-group">
        </server>
        <server name="server-two" group="main-server-group" auto-start="true">
            <socket-bindings port-offset="150"/>
        </server>
        <server name="server-three" group="other-server-group" auto-start="true">
            <socket-bindings port-offset="250"/>
        </server>
    </servers>


类似上面这样的配置,有三个服务器,第一个服务器绑定于默认设置的端口上,第二个服务器offset为150,第三个为250。那么,如果默认的服务端口号为8080,那么第二个服务器就是8080+150 = 8230,第三个则服务于8080+250 = 8330端口,其它各服务端口依此类推。

通过使用offset配置,大大减少了重复的配置。AS7将所有端口的设置置于domain.xml的配置之中:

    <socket-binding-groups>
        <socket-binding-group name="standard-sockets" default-interface="public">
            <socket-binding name="http" port="8080"/>
            <socket-binding name="https" port="8443"/>
            <socket-binding name="jacorb" port="3528"/>
            <socket-binding name="jacorb-ssl" port="3529"/>
...


通过在domain.xml的socket-binding-groups中设置好服务的端口号,再在host.xml中配合port-offset的设置,就实现了多服务器的集中管理,简化了配置工作。

熟悉了端口配置后,我们就可以开始进行实际的群集实验了,好玩的部分开始了!

实验

和《JBoss AS7中的新概念-域》中介绍的一样,我们还是用两台主机做实验,域控制器为master,此外还有一台域内主机slave。

然后我们创建一个测试用的项目,这个项目应该包含Session的群集复制。在web.xml中添加这样一行就可以开启session的群集复制了:

   <distributable/>


为了方便起见,我创建了一个demo项目在这里:

https://github.com/liweinan/cluster-demo


可以把代码签出使用maven进行编译打包,然后通过域控制器部署至AS7。如果你在master及slave中的host.xml都将server-three设置成了启动时自动加载:

    <servers>
...
        <server name="server-three" group="other-server-group" auto-start="true">
            <socket-bindings port-offset="250"/>
        </server>
    </servers>


注意到auto-start=true,那么两台主机启动时,你可以看到群集组建的日志(因此server-three的服务器组为other-server-group,而如前所述,other-server-group使用了群集配置方案):

master上面的日志:

[Server:server-three] 14:27:28,581 INFO  [stdout] (MSC service thread 1-2) 
[Server:server-three] 14:27:28,582 INFO  [stdout] (MSC service thread 1-2) -------------------------------------------------------------------
[Server:server-three] 14:27:28,582 INFO  [stdout] (MSC service thread 1-2) GMS: address=server-three/web, cluster=web, physical address=10.211.55.5:55450
[Server:server-three] 14:27:28,582 INFO  [stdout] (MSC service thread 1-2) -------------------------------------------------------------------


slave上面的日志:

[Server:server-three-slave] 14:28:02,779 INFO  [stdout] (MSC service thread 1-11) 
[Server:server-three-slave] 14:28:02,779 INFO  [stdout] (MSC service thread 1-11) -------------------------------------------------------------------
[Server:server-three-slave] 14:28:02,779 INFO  [stdout] (MSC service thread 1-11) GMS: address=server-three-slave/web, cluster=web, physical address=10.211.55.2:55450
[Server:server-three-slave] 14:28:02,779 INFO  [stdout] (MSC service thread 1-11) -------------------------------------------------------------------
[Server:server-three-slave] 14:28:02,925 INFO  [org.jboss.as.clustering.CoreGroupCommunicationService.web] (MSC service thread 1-9) JBAS010207: Number of cluster members: 2


以及我们可以看到群集复制及缓存也都加载了起来:


[Server:server-three-slave] 14:28:03,419 INFO  [org.jboss.as.clustering] (MSC service thread 1-9) JBAS010301: Started repl cache from web container
[Server:server-three-slave] 14:28:03,419 INFO  [org.jboss.as.clustering] (MSC service thread 1-8) JBAS010301: Started registry cache from web container


当然,如果将host.xml中的主机配置改为auto-start=false也没有关系,只不过AS7在启动时不会加载这些群集模块,只有项目被部署至server-three时才会按需加载,从而提高AS7的第一次启动时间。

启动完成之后是部署cluster-demo应用,访问域控制器的web控制端进行部署,需要注意的是要部署到server-three:

AS7群集配置

如果没有什么问题的话,通过域控制器,这个项目就被同时部署到master及slave上面了。

我们可以试着分别访问群集内两个节点主机,注意到我们在host.xml配置server-three端口的offset为250,因此两个节点服务于8080+250=8330端口:

AS7群集配置

AS7群集配置

可以看到,群集内两个节点都跑起来了。我们接下来要使用这个群集,让它们承担负载平衡及并提供HA高可用。在这一点上,有多种方案可以选择,比如基于硬件的群集控制器,基于协议层的LVS,或是nginx来分发请求至群集内的两个节点。

但是AS7默认支持mod_cluster的方式是最方便的,mod_cluster也针对AS7做了很多优化工作,支持开箱即用,不需要很复杂的配置,因此本文下面将基于mod_cluster来讲解群集的使用方法。

使用mod_cluster来使用JBoss AS7群集进行负载平衡

mod_cluster使用Apache HTTPD做为群集控制服务器,用户访问httpd提供的服务端口,然后由mod_cluster负责把请求转给后端的AS7内群集各节点。

mod_cluster的负载平衡计算策略是十分智能的,它通过监控群集内各服务器的性能使用情况,把请求按需进行分配。有关mod_cluster的详细配置策略,可参考:

http://docs.jboss.org/mod_cluster/1.1.0/html_single/#LoadMetric


安装配置mod_cluster并不难,但是需要细心。可以根据这篇文档一步一步来:

http://docs.jboss.org/mod_cluster/1.1.0/html/Quick_Start_Guide.html


这里简单介绍下安装方法:

从这里下载mod_cluster:

http://www.jboss.org/mod_cluster/downloads


我下载的是:

mod_cluster-1.1.3.Final-linux2-x86-so.tar.gz


然后将相关的包解压到httpd的modules目录:

/etc/httpd/modules$ tar zxvf  mod_cluster-1.1.3.Final-linux2-x86-so.tar.gz


然后,编辑httpd.conf:

% vi /etc/httpd/conf/httpd.conf


首先要让httpd侦听到公共端口上,而不是默认的localhost:

Listen 10.211.55.5:80


我们在这个demo中,mod_cluster和master域控制器在一台机器上,所以IP地址和master是一样。但是mod_cluster并不要求AS的域控制器与其在一台机器上,只要它们在一个子网即可通过IP Multicast来自动发现。此外,mod_cluster还支持广域网组建群集,但我怀疑这种方式的实用性,并且也不是本文的重点,所以并不详细展开协议层方面的细节。只需要理解一点就可以了:

* 将你的mod_cluster+httpd服务器和你的与你的AS服务器置于一个子网。

然后是加载相关模块:

LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule slotmem_module modules/mod_slotmem.so
LoadModule manager_module modules/mod_manager.so
LoadModule proxy_cluster_module modules/mod_proxy_cluster.so
LoadModule advertise_module modules/mod_advertise.so



注意要把mod_proxy_balancer给disable掉,这个是和mod_proxy_cluster冲突的:

#LoadModule proxy_balancer_module modules/mod_proxy_balancer.so


最后是mod_proxy的相关配置:

Listen 10.211.55.5:6666
#Listen 127.0.0.1:8330

<VirtualHost 10.211.55.5:6666>

  <Directory />
    Order deny,allow
    Deny from all
    Allow from 10.211.55.
  </Directory>

  KeepAliveTimeout 60
  MaxKeepAliveRequests 0

  ManagerBalancerName other-server-group
  AdvertiseFrequency 5

</VirtualHost>


上面的重点在于这样几处:

Allow from 10.211.55.


我们的群集内各节点都处于10.211.55网段内,因此配置mod_cluster寻找这个网段内的所有节点。接下来是:

  ManagerBalancerName other-server-group
  AdvertiseFrequency 5


给群集起个名字,我们为方便说明,使用AS7中群集所在服务器组的名字:other-server-group。这个并没有什么强制要求。AdvertiseFrequency是mod_cluster发现各节点的查询间隔。这样,有新的节点加入群集,或是从群集中去掉,mod_cluster都是自动配置。

最后是启动httpd:

service httpd restart


查看httpd的日志,看看是否正常启动了:

% tail -f /etc/httpd/logs/error_log
[Fri Jan 20 16:48:44 2012] [notice] Advertise initialized for process 6189
[Fri Jan 20 16:48:44 2012] [notice] Apache/2.2.15 (Unix) DAV/2 mod_cluster/1.1.x configured -- resuming normal operations


如果有上述日志说明正常启动了。如果有问题,任何时候日志都是你排错的好朋友。接下来我们来启动master和slave两个AS服务器,启动后,如果没什么问题,可以发现两台AS服务器都已经被mod_cluster发现,并纳入了mod_cluster的群集控制之下:

[Server:server-three-slave] 16:51:00,798 INFO  [org.infinispan.remoting.transport.jgroups.JGroupsTransport] (Incoming-7,null) ISPN000094: Received new cluster view: [server-three-slave/web|7] [server-three-slave/web, server-three/web]


[Server:server-three] 16:51:07,676 INFO  [org.jboss.modcluster.ModClusterService] (ContainerBackgroundProcessor[StandardEngine[jboss.web]]) Engine [jboss.web] will use jvmRoute: a019cde8-113d-362c-992e-ea4abc1bf389


接下来我们试着访问httpd的侦听地址,看看请求是否被mod_cluster转发至群集节点

AS7群集配置

可以看到已经正确将请求分发给群集节点了。

使用mod_cluster来使用JBoss AS7群集进行HA

接下来我们试试群集的高可用, 我们这里要用到cluster-demo项目。下面是实验方案:

* 在master上面访问cluster-demo项目的put.jsp,设置一个session。
* 断掉master服务。
* 访问群集,访问get.jsp
* 预期结果:用户的请求被转到slave,并且session的数据没有丢失。

接下来是实际操作:

首先访问master的put.jsp:

AS7群集配置

然后我们将master的AS7服务器停掉,这时候slave上面的AS7开始报错:

[Host Controller] 18:43:02,320 WARN  [org.jboss.as.host.controller] (Thread-27) JBAS010900: Could not connect to remote domain controller 10.211.55.5:9999


报告连接不到域控制器。这个没有关系,我们此时还是访问群集节点:

AS7群集配置

会发现服务仍然可用,并且session数据没有丢失。但查看slave的日志,发现请求实际由slave承担了。整个实验实现了我们的预期。

此时,将master重新启动,发现master发现了slave,并重新接管域管理的工作。mod_cluster也发现了master并将其加入了群集节点,一切都是自动化的。

小结

通过上面的讲述,相信你已经初步了解了AS7的群集使用方法。在这个基础上,可以进一步学习mod_cluster,JGroup,Inifinispan等各部件的详细使用方法,从而定制出符合业务目的群集。



你可能感兴趣的:(jboss,域,as7,群集)