rocketMQ集群双主双从同步模式(2m-2s-sync)搭建

1.去apache官网（ http://rocketmq.apache.org/release_notes/release-notes-4.6.0/）下载最新的rocketmq发行版，我用的是4.6版本（  rocketmq-all-4.6.0-bin-release.zip） 如下图：

 

 

2.将下载后的二进制包（zip）上传到服务器目录之中，然后进行解压   解压命令为：unzip rocketmq-all-4.6.0-bin-release.zip

如果报错bash: unzip: command not found   则说明没有unzip命令  可先安装，命令为：yum -y install unzip   我的包目录为/home/zhipeng/rocketMQ   

 

3.我们想要规划的环境如下：

序号	IP	角色	架构模式
1	192.168.108.128	nameserver,brokerserver	Master1,Slave2
2	192.168.108.129	nameserver,brokerserver	Master2,Slave1

4.Host添加信息（两台机器都要执行） 编辑hosts文件，添加域名信息  命令为：vi /etc/hosts    保存之后，重启网卡服，命令：systemctl restart network   如下图

 

5.防火墙配置（两台机器都要执行）
可以开放端口，此处本地实现，简单粗暴点儿，直接关闭防火墙；
#检查状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld
然后编辑profile文件，添加rocketmq环境变量配置  命令：vi /etc/profile   编辑内容如下

# set rocketmq
ROCKETMQ_HOME=/usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

6.保存之后执行命令重新加载    命令为：source /etc/profile   

7.创建消息存储路径   因为同一台机器主从节点共用存储路径会冲突报错，这里我们分别创建两个目录避坑，我们在下一步中配置文件就用对应的路径就可以了(注意:以下创建命令需要一级级创建目录 得确保上一级目录是否存在才能创建  不能同时创建多级目录   不然会报mkdir: cannot create directory ‘/home/zhipeng/mq/rocketmq/mstore’: No such file or directory错误   如想要同时创建多级目录则需加mkdir -p即可)

#主节点使用目录
mkdir /home/zhipeng/mq/rocketmq/mstore
mkdir /home/zhipeng/mq/rocketmq/mstore/commitlog
mkdir /home/zhipeng/mq/rocketmq/mstore/consumequeue
mkdir /home/zhipeng/mq/rocketmq/mstore/index
 
#从节点使用目录
mkdir /home/zhipeng/mq/rocketmq/store
mkdir /home/zhipeng/mq/rocketmq/store/commitlog
mkdir /home/zhipeng/mq/rocketmq/store/consumequeue
mkdir /home/zhipeng/mq/rocketmq/store/index

8.修改broker配置文件  配置文件修改如下：

配置文件位置在conf文件目录下。
我们使用2m-2s-sync文件夹里面的配置，这个就是对应双主-双从-同步集群
下面配置文件可直接使用：首先对192.168.108.129机器上要部署的master1和slave2配置文件进行修改：命令：vim broker-a.properties      vim broker-b-s.properties

编辑broker-a.properties如下:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
  

编辑broker-b-s.properties如下:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

9.然后对192.168.108.128机器上要部署的master2和slave1配置文件进行修改：

编辑broker-b.properties:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/mstore
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/mstore/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

编辑broker-a-s.properties:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

10.修改配置文件runserver.sh,runbroker.sh  主要是修改JVM参数:因为rocketmq默认配置的JVM参数太大，本地资源有限，所以就改小点儿；命令：vim  home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

命令：vim  home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin/runbroker.sh    两台机器上的都要修改；

以上两台机器上的都要修改；

11.启动nameserver集群   

分别在192.168.108.128和192.168.108.129上启动nameServer  切换到bin目录下面   命令为：cd /home/zhipeng/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin    然后输入启动命令：nohup sh mqnamesrv &

12.启动broker集群

在192.168.108.128上启动master1和slave2

master1:
cd /home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a.properties &
slave2:
cd /home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.108.129上启动master2和slave1

master2:
cd /home/hezhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b.properties &
slave1:
cd /home/hezhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

13.部署一个服务监控端

https://github.com/apache/rocketmq-externals  去这个网址下载rocketmq扩展项目代码； 本地解压目录如下

 

 

14.我们需要的就是rocketmq-console这个项目；该项目是springboot开发的，我们进入项目目录下本地用maven，打个jar包，然后将jar包上传到服务器启动就可以了；此处要【注意】：该项目需要对接nameserver集群进行监控，所以要去配置nameserver集群地址：去resource下找到application.properties文件进行编辑

指定nameSrvAddr为你的nameserver集群信息就可以了，用分号分隔；然后回到项目根目录打包 mvn package -Dmaven.test.skip=true等待打包完成.......去target下面拷贝jar包上传到任意一台虚机任意位置然后用nohup java -jar rocketmq-console-ng-1.0.1启动完成，在本地浏览器访问8080端口就可以了（默认为8080端口）；