RocketMQ环境部署

目录

1. RocketMQ下载

2. 环境部署

3. 配置集群参数

3.1 2M-2S-SYNC模式

3.2 2M-NOSLAVE模式

4. 修改启动参数

5. 复制到其他服务器

6. 启动RocketMQ

6.1 2M-2S-SYNC模式

6.2 2M-NOSALVE模式

7.服务查看

8. 服务测试

9. 关闭服务

---

1. RocketMQ下载

Apache: https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

               https://rocketmq.apache.org/release_notes/release-notes-4.2.0/

Github: https://github.com/apache/rocketmq/

2. 环境部署

2.1 解压
[ ] unzip rocketmq-all-4.2.0-bin-release.zip -d /apps/rocketmq-4.2.0

2.2 配置Host
[ ] vim /etc/hosts

192.168.2.100 node1
192.168.2.101 node2

2.3 配置环境变量
[ ] vim /etc/profile

export JAVA_HOME=/usr/local/jdk
export ROCKETMQ_HOME=/apps/rocketmq-4.2.0
export PATH=.:$PATH:$JAVA_HOME/bin:$ROCKETMQ_HOME/bin

2.4 使配置生效
[ ] source /etc/profile

3. 配置集群参数

3.1 2M-2S-SYNC模式

3.1.1 配置broker-a

[ ] vim /apps/rocketmq-4.2.0/conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=tl-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样; 在broker-b.properties中此处需要修改为:brokerName=broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=node1:9876;node2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/apps/rocketmq-4.2.0/2m2s-data/store
#commitLog 存储路径
storePathCommitLog=/apps/rocketmq-4.2.0/2m2s-data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/apps/rocketmq-4.2.0/2m2s-data/store/consumequeue
#消息索引存储路径
storePathIndex=/apps/rocketmq-4.2.0/2m2s-data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/apps/rocketmq-4.2.0/2m2s-data/store/checkpoint
#abort 文件存储路径
abortFile=/apps/rocketmq-4.2.0/2m2s-data/store/abort
#限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

3.1.2 配置broker-a-s

[ ] vim /apps/rocketmq-4.2.0/conf/2m-2s-sync/broker-a-s.properties

#所属集群名字
brokerClusterName=tl-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样; 在broker-b-s.properties中此处需要修改为:brokerName=broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1 
#nameServer地址，分号分割
namesrvAddr=node1:9876;node2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/apps/rocketmq-4.2.0/2m2s-data/store-s
#commitLog 存储路径
storePathCommitLog=/apps/rocketmq-4.2.0/2m2s-data/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/apps/rocketmq-4.2.0/2m2s-data/store-s/consumequeue
#消息索引存储路径
storePathIndex=/apps/rocketmq-4.2.0/2m2s-data/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/apps/rocketmq-4.2.0/2m2s-data/store-s/checkpoint
#abort 文件存储路径
abortFile=/apps/rocketmq-4.2.0/2m2s-data/store-s/abort
#限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

3.1.3 配置broker-b

参考broker-a.properties

3.1.4 配置broker-b-s

参考broker-a-s.properties

3.2 2M-NOSLAVE模式

[ ] vim /apps/rocketmq-4.2.0/conf/2m-nosalve/broker-a.properties

#所属集群名字
brokerClusterName=tl-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样;
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=node1:9876;node2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/apps/rocketmq-4.2.0/2m-data/store
#commitLog 存储路径
storePathCommitLog=/apps/rocketmq-4.2.0/2m-data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/apps/rocketmq-4.2.0/2m-data/store/consumequeue
#消息索引存储路径
storePathIndex=/apps/rocketmq-4.2.0/2m-data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/apps/rocketmq-4.2.0/2m-data/store/checkpoint
#abort 文件存储路径
abortFile=/apps/rocketmq-4.2.0/2m-data/store/abort
#限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

[ ] vim /apps/rocketmq-4.2.0/conf/2m-nosalve/broker-b.properties

#所属集群名字
brokerClusterName=tl-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样;
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=node1:9876;node2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/apps/rocketmq-4.2.0/2m-data/store
#commitLog 存储路径
storePathCommitLog=/apps/rocketmq-4.2.0/2m-data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/apps/rocketmq-4.2.0/2m-data/store/consumequeue
#消息索引存储路径
storePathIndex=/apps/rocketmq-4.2.0/2m-data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/apps/rocketmq-4.2.0/2m-data/store/checkpoint
#abort 文件存储路径
abortFile=/apps/rocketmq-4.2.0/2m-data/store/abort
#限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

4. 修改启动参数

runbroker.sh, runserver.sh启动参数默认对jvm的堆内存设置比较大(不修改启动不起来); 如果是虚拟机非线上环境需要改下参数，大小可以根据自己机器来决定

[ ] vim /apps/rocketmq-4.2.0/bin/runbroker.sh

默认大小为: -Xms8g -Xmx8g -Xmn4g
修改为: -Xms1g -Xmx1g -Xmn512m

[ ] vim /apps/rocketmq-4.2.0/bin/runserver.sh

默认大小为: -Xms8g -Xmx8g -Xmn4g
修改为: -Xms1g -Xmx1g -Xmn512m

5. 复制到其他服务器

[ ] scp -r /apps/rocketmq-4.2.0/ root@node2:/apps/rocketmq-4.2.0

6. 启动RocketMQ

关闭防火墙: service iptables stop

6.1 2M-2S-SYNC模式

(1) 分别在node1, node2上启动Nameserver

[ ] cd /apps/rocketmq-4.2.0/bin

[ ] nohup sh mqnamesrv &

(2) 启动Brocker

node1上Master启动：

[ ] nohup sh mqbroker -c /apps/rocketmq-4.2.0/conf/2m-2s-async/broker-a.properties

node2上Master启动：

[ ] nohup sh mqbroker -c /apps/rocketmq-4.2.0/conf/2m-2s-async/broker-b.properties

node1上对应node2的Master的Slave启动：

[ ] nohup sh mqbroker -c /apps/rocketmq-4.2.0/conf/2m-2s-async/broker-b-s.properties

node2上对应node1的Master的Slave启动：

[ ] nohup sh mqbroker -c /apps/rocketmq-4.2.0/conf/2m-2s-async/broker-a-s.properties

6.2 2M-NOSALVE模式

(1) 分别在node1, node2上启动Nameserver

[ ] cd /apps/rocketmq-4.2.0/bin

[ ] nohup sh mqnamesrv &

(2) 启动Brocker

node1启动brocker-a

[ ] nohup sh mqbroker -c /apps/rocketmq-4.2.0/conf/2m-noslave/broker-a.properties &

node2启动brocker-b

[ ] nohup sh mqbroker -c /apps/rocketmq-4.2.0/conf/2m-noslave/broker-b.properties &

7.服务查看

7.1 输入命令jps或者查看rocketmq/logs下日志是否输出正常

7.2 查看集群监控状态：

sh mqadmin clusterlist -n node1:9876

8. 服务测试

8.1 在node1和node2的环境变量中配置Nameserver地址, 使得测试用例可以获取到Nameserver地址

[ ] vim /etc/profile

export NAMESRV_ADDR=node1:9876;node2:9876

[ ] source /etc/profile

8.2 开始测试

启动消费端

[ ] sh /apps/rocketmq-4.2.0/bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

测试发送端

[ ] sh /apps/rocketmq-4.2.0/bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

9. 关闭服务

[ ] cd /apps/rocketmq-4.2.0/bin

[ ] sh mqshutdown broker

[ ] sh mqshutdown namesrv

参考播客: https://www.cnblogs.com/tudachui/p/10998984.html