zookeeper与activemq最新存储replicatedLevelDB整合

测试环境：三台VM虚拟机centos6.4 64位 mini版，IP分别为192.168.1.191/192/193.

测试目的：测试activemq的failover以及与zookeeper的整合

测试原因：activemq有多种持久化模式，但是都可能存在单点故障的情况。与zookeeper整合后基本可以保证(n-1)/2的稳定性。其中n表示服务器数量。

测试备注：该模式下还是单节点负载，只是由于引入了zookeeper的监测机制。保证多个activemq服务在同一时间内只有一个服务对外开放。

性能分析：在环境搭载完成后测试了下性能负载，在单台无zookeeper模式下用kahadb负载能打到12000条/秒，但是在引入zookeeper后只能有1500条/秒左右，

但是由于本次测试不是性能调优，只是为了保证jms服务的可用性，因此没有进行性能优化调整。













1、下载zookeeper

cd /opt && wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.5.tar.gz

2、下载activemq

cd /opt && wget

http://www.apache.org/dyn/closer.cgi?path=/activemq/apache-activemq/5.9.0/apache-activemq-5.9.0-bin.tar.gz



解压这两个文件，都放在opt目录下。

以下配置是分别在192.168.1.191 192.168.1.192 192.168.1.193三台服务器上进行配置。

这种配置方案能够实现(n-1)/2的容错率，也就是三台服务器允许挂一台，五个能当掉2个，依次类推。



3、更改zookeeper配置

cd /opt/zookeeper-3.4.5/conf

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

然后配置为三个节点

server.1=192.168.1.191:2888:3888

server.2=192.168.1.192:2888:3888

server.3=192.168.1.193:2888:3888



然后需要cd /tmp/zookeeper

新建一个名字叫做myid的文件，里面写上当前服务的优先级？基本上是数字 注意这里的数字要和zoo.cfg文件中的server.*吻合，比如我的配置是191这台机器是叫做1  192这台机器是叫做2  

vi myid

4、更改activemq的配置

vi /opt/apache-activemq-5.9.0/conf/activemq.xml

找到

<persistenceAdapter>

            <kahaDB directory="${activemq.data}/kahadb"/>

        </persistenceAdapter>

这种字样的配置项目，默认情况下activemq是走kahadb存储的，这里替换为：

<persistenceAdapter>

    <replicatedLevelDB

      directory="${activemq.data}/leveldb"

      replicas="3"

      bind="tcp://0.0.0.0:0"

      zkAddress="192.168.1.191:2181,192.168.1.192:2181,192.168.1.193:2181"

      zkPassword="password"

hostname="192.168.1.191"

      sync="local_disk"

      zkPath="/activemq/leveldb-stores"

      />

  </persistenceAdapter>



这里不同机器上的hostname要设置为不同。



5、剩下的就是开始服务了。

首先开始三台服务器上的zookeeper服务：

/opt/zookeeper-3.4.5/bin/zkServer.sh start

然后分别开启三台服务器上的activemq服务：

/opt/apache-activemq-5.9.0/bin/activemq start



好了，基本没什么问题了。

然后就开始http://192.168.1.191:8161 或者http://192.168.1.192:8161

或者http://192.168.1.193:8161

这三个链接看哪个能访问，哪个消息服务器则表示存活提供服务。

6、测试

关掉191、192、193其中任何一台，经过测试能够正常提供服务，客户端会自动切换连接，达到预期目的。



6、客户端连接使用failover方案：

failover:(tcp://192.168.1.191:61616,tcp://192.168.1.192:61616,tcp://192.168.1.193:61616)?initialReconnectDelay=1000