RocketMQ使用教程相关系列 目录
目录
第一节:服务器准备
第二节:安装配置(salve)
创建rocketmq存储目录
修改 runbroker.sh
修改 runserver.sh
第三节:配置
配置hosts
配置完成后, 重启网卡
rocketmq 环境变量配置
jdk安装
修改master服务器配置
关闭namesrv服务
关闭broker服务
主从配置
主机:192.168.88.131
从机:192.168.88.133
第四节:启动namesrv和主从的broker
先启动master主机和slave主机的namesrv
启动master主机的broker
再启动slave主机的broker
第五节:集群监控平台查看
启动
安装两台虚拟机,一台master,一台slave。
IP |
hostname |
mastername |
192.168.88.133 |
rocketmq-nameserver2 |
rocketmq-master1-slave1 |
192.168.88.131 |
rocketmq-nameserver1 |
rocketmq-master1 |
安装虚拟机传送门-->
之前已经在一台服务器安装了rocketMQ,所以salve服务器(192.168.88.133)只需要安装从节点就行了。
注:如果不知道rocketMQ怎么安装的,传送门-->第一章:RocketMQ安装
先在salve服务器创建存在安装文件的目录
mkdir server
把安装文件拷贝到salve服务器上,并解压安装
scp rocketmq-all-4.5.1-bin-release.zip 192.168.88.133:/usr/local/server/
unzip rocketmq-all-4.5.1-bin-release.zip
mkdir mq
mv rocketmq-all-4.5.1-bin-release mq/rocketmq
现有的目录结构是这样的
创建存储目录
mkdir logs
mkdir store
cd store
mkdir commitlog
mkdir consumequeue
mkdir index
修改日志路径
进入conf 目录,替换所有xml中的${user.home},保证日志路径正确
语法:
sed -i 批量替换作用
sed -i 's#原字符串#新字符串#g' 替换的文件
sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml
说明替换成功了
调整内存大小(这里只是演示用途,实际的内存大小要以生产环境为准)
cd ..
cd bin/
vim runbroker.sh
调整为1g
调整内存大小(这里只是演示用途,实际的内存大小要以生产环境为准)
vim runserver.sh
在host文件中配置地址与IP的映射关系
修改2台机器的/etc/hosts文件,加入如下映射关系
vim /etc/hosts
192.168.88.131 rocketmq-nameserver1
192.168.88.131 rocketmq-master1
192.168.88.133 rocketmq-nameserver2
192.168.88.133 rocketmq-master1-slave1
systemctl restart network
vim /etc/profile
在profile文件的末尾加入如下命令
#set rocketmq
ROCKETMQ_HOME=/usr/local/server/mq/rocketmq/
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
输入:wq! 保存并退出, 并使得配置立刻生效:
source /etc/profile
centos安装open-jdk8-->传送门
主机;192.168.88.131
#进入bin
sh mqshutdown namesrv
sh mqshutdown broker
通过jps验证下
cd /usr/local/server/mq/rocketmq/conf
cd 2m-2s-async/
vim broker-a.properties
#所属集群名字
brokerClusterName=xuzhu_cluster
#broker 名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer 地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4 点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
有调整的地方:
#集群名称,主从要一样
brokerClusterName=xuzhu_cluster
#broker名称,主从要一样,根据BrokerRole来确定谁是主谁是从
brokerName=broker-a
#nameServer 地址
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#brokerID 0是主,>0是从
brokerId=0
#主从关系,异步复制
brokerRole=ASYNC_MASTER
#刷盘模式,异步刷盘
flushDiskType=ASYNC_FLUSH
修改broker-a-s.properties
vim broker-a-s.properties
修改,保存
#所属集群名字
brokerClusterName=xuzhu_cluster
#broker 名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer 地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4 点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
有调整的地方:
#集群名称,主从要一样
brokerClusterName=xuzhu_cluster
#broker名称,主从要一样,根据BrokerRole来确定谁是主谁是从
brokerName=broker-a
#nameServer 地址
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#brokerID 0是主,>0是从
brokerId=1
#角色是从节点
brokerRole=SLAVE
#刷盘模式,异步刷盘
flushDiskType=ASYNC_FLUSH
master主机和slave主机进入bin目录
nohup sh mqnamesrv > /dev/null 2>&1 &
nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a.properties > /dev/null 2>&1 &
nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a-s.properties > /dev/null 2>&1 &
事先要查询下docker 有没有存在容器rocketmq-console-ng,如果有,要先删除
对docker不熟悉的同学,传送门-->docker 常用操作容器命令
如果事先没有下载rocketmq-console镜像,传送门-->RocketMQ集群监控平台 rocketmq-console 搭建
docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.88.131:9876;192.168.88.133:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t --name rocketmq-console-ng styletang/rocketmq-console-ng