作者：禹明明，叩丁狼教育高级讲师。原创文章，转载请注明出处。
mq在分布式系统中是所有系统的消息总线,在生产环境中必须要尽量保证mq的正常运行,所以一般都会使用master-slave,保证master挂掉时slave可以顶上继续工作 . 但是仅仅是master-slave的话只能保证高可用,却无法做到负载均衡,如果mq因负载过大挂掉, master-slave也无法解决这种问题,那么就必须配置负载均衡
activemq 的master-slave部署方式
- shared filesystem Master-Slave部署方式, 基于共享数据存储目录,多个broker共享存储的文件系统,谁抢到存储文件的控制权谁是master
- shared database Master-Slave方式 ,基于共享数据库,跟第一种类似
- Replicated LevelDB Store方式,基于zookeeper + leveldb。 leveldb是谷歌的一个高性能kv数据库. 这中方式是ActiveMQ5.9以后才新增的，原理就是使用ZooKeeper协调选举一个node作为master, 被选择的master broker node开启并接受客户端连接。如果master挂掉，得到了最新更新数据的slave就会成为master。挂掉的节点恢复后能够重新加入到网络中并连接master进入slave 模式.
前两种要保证共享文件系统或数据库的高可用和性能才能保证mq的高可用，有时候上述并不容易满足,我们就使用第三种方式搭建master-slave集群.
环境
由于我们只有两台主机,我们测试就在每一台主机上搭建一个伪master-slave集群,然后两个集群再相互连接完成负载均衡
jdk : jdk8
zookeeper: 3.2
activemq: 5.15
主机1：192.168.0.103
主机2：192.168.0.104
搭建master-slave集群
步骤:
- 下载-->解压-->拷贝3份activemq(5.9以后版本),保证单独运行没有问题
2.修改每个activemq的持久化方式
vi ACTIVEMQ_HOME/conf/activemq.xml
将默认的kahadb 修改为如下配置,zookeeper我做了集群,嫌麻烦直接使用单点Zookeeper也不影响
//directoryleveldb数据保存路径
//bind 服务端口
//replicas表示master-slave集群中节点个数
//zkAddress依次指定三台服务器的ip和ZooKeeper的监听端口
//zkPah在zookeeper中注册的节点路径
//hostname为每一台服务器的ip地址，三台服务器根据实际情况修改
3.修改activemq的TCP服务端口
该配置也在 ACTIVEMQ_HOME/conf/activemq.xml, 默认61616 , 相同机器不能重复,否则端口冲突,我这里为61616 ,61617, 61618
4.修改jetty端口
activemq 使用jetty运行服务, 修改 ACTIVEMQ_HOME/conf/jetty.xml 端口保证三个不能相同
依次改为8161 , 8162, 8163
- 启动zookeeper, 启动 三个activemq 实例
- 验证
登录Zookeeper 客户端
执行: ls /activemq/leveldb-stores
查看节点发现/activemq/leveldb-stores下有三个节点,每一个代表一个activemq服务
image.png
查看每个节点的数据,其中elected 不为null 的就是master, 为null 的是slave
image.png
也可以下载zookeeper可视化工具:
https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip；
运行ZooInspector\build\zookeeper-dev-ZooInspector.jar 可以查看节点数据
ps:只有master接受请求,slave不接受请求,也无法使用管理界面
配置负载均衡
- 我们已经搭建好了一个集群, 可以使用scp 命令将三个activemq文件拷贝一份到另一台主机即可得到另一个集群
#activemq2 是我本机的activemq 安装目录
scp -r activemq2 [email protected]:/soft
- 在集群1的activemq.xml中链接集群2（在persistenceAdapter标签前配置）：
- 在集群2的activemq.xml中链接集群1（在persistenceAdapter标签前配置）：
这样就实现了ActiveMQ的集群高可用负载均衡功能。
项目中activemq配置地址应改为：
failover:(tcp://192.168.0.103:61616,tcp://192.168.0.103:61617,tcp://192.168.0.103:61618)?randomize=false
或：
failover:(tcp://192.168.0.104:61616,tcp://192.168.0.104:61617,tcp://192.168.0.104:61618)?randomize=false
测试
1.测试master-slave , 关闭master(61616),自动切换master为61617并重新连接(切换时不能保证数据完整性). 再关闭一个服务61617,超过半数挂掉,服务不可用, 客户端被阻塞不能再发送消息
-
测试负载均衡
最终的架构就是两个master-slave集群 相互连通,两个集群可以相互消费对方的消息,但是如果客户端所连接的集群挂掉客户端依然是不能发送消息的,也就是说activemq的负载均衡只是做到消费的负载均衡,高可用是靠master-slave来保证的。
我们启动两个消费者服务监听相同的队列名
mq的地址分别配置为
failover:(tcp://192.168.0.103:61616,tcp://192.168.0.103:61617,tcp://192.168.0.103:61618)?randomize=false
和：
failover:(tcp://192.168.0.104:61616,tcp://192.168.0.104:61617,tcp://192.168.0.104:61618)?randomize=false
启动后向104集群不停发送消息,发现两个消费者都能消费发送向104集群的消息,只不过打印日志有些区别,连接103集群的消费者服务显示通过FailoverTransport连接到104的matser
至此,高可用+负载均衡搭建完毕.
最后说明一点,测试中发现在master-slave切换时消费的消息还是有可能会出现问题的,并不是万无一失
