RocketMQ双主双从环境搭建

环境要求

64位操作系统,推荐 Linux/Unix/macOS

64位 JDK 1.8+

服务器准备

准备4台服务器两台master两台slave,如果服务器紧凑,则至少需要两台服务器相互master-slave

IP

HOSTS

172.*******.120

rocketmq-nameserver1 rocketmq-master1 rocketmq-master-salve2

172.*******.142

rocketmq-nameserver2 rocketmq-master2 rocketmq-master-salve1

准备版本包

配置hosts,上传RocketMQ包并解压(https://rocketmq.apache.org/zh/download/#rocketmq)选择Binary 下载,上传至/data/public/rocketmq

修改配置文件

生产高可用双主双从采用 SYNC_MASTER 同步双写SYNC_FLUSH 同步刷盘进行

172.******.120机器

修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-a.properties

#所属集群名字

brokerClusterName=test-rocketmq-cluster

#broker 名字,注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master,>0 表示 Slave

brokerId=0

#nameServer 地址,分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#安装可视化界面使用,需要是IP,不能是host

#设置broker节点所在服务器的ip地址(**这个非常重要,主从模式下,从节点会根据主节点的brokerIP2来同步数据,#如果不配置,主从无法同步,brokerIP1设置为自己外网能访问的ip,服务器双网卡情况下必须配置,比如阿里云这$种,#主节点需要配置ip1和ip2,从节点只需要配置ip1即可)

brokerIP1=172.******.120

brokerIP2=172.******.120

#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭

#进行发消息时,必须要指定topic,对于topic的设置有一个开关autoCreateTopicEnable,一#般在开发测试环境中会使用默认设置autoCreateTopicEnable = true,但是这样就会导致#topic的设置不容易规范管理,没有统一的审核等等,所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable = false。这样当需要增加topic时就需要在web管理界面上#添加即可。

autoCreateTopicEnable=false

#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭

autoCreateSubscriptionGroup=fasle

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点,默认凌晨 4 点

deleteWhen=04

#文件保留时间,默认 48 小时

fileReservedTime=120

#commitLog 每个文件的大小默认 1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/public/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/data/public/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/public/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/data/public/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/public/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/data/public/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制 Master

#- SYNC_MASTER 同步双写 Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-b-s.properties

#所属集群名字

brokerClusterName=test-rocketmq-cluster

#broker 名字,注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master,>0 表示 Slave

brokerId=1

#nameServer 地址,分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#安装可视化界面使用,需要是IP,不能是host

#设置broker节点所在服务器的ip地址(**这个非常重要,主从模式下,从节点会根据主节点的brokerIP2来同步数据,#如果不配置,主从无法同步,brokerIP1设置为自己外网能访问的ip,服务器双网卡情况下必须配置,比如阿里云这$种,#主节点需要配置ip1和ip2,从节点只需要配置ip1即可)

brokerIP1=172.******.120

#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭

#进行发消息时,必须要指定topic,对于topic的设置有一个开关autoCreateTopicEnable,一#般在开发测试环境中会使用默认设置autoCreateTopicEnable = true,但是这样就会导致#topic的设置不容易规范管理,没有统一的审核等等,所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable = false。这样当需要增加topic时就需要在web管理界面上#添加即可。

autoCreateTopicEnable=fasle

#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭

autoCreateSubscriptionGroup=fasle

#Broker 对外服务的监听端口,如果从节点是单独服务器,则可以使用默认端口19011

listenPort=10922

#删除文件时间点,默认凌晨 4 点

deleteWhen=04

#文件保留时间,默认 48 小时

fileReservedTime=120

#commitLog 每个文件的大小默认 1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/public/rocketmq/slave/store

#commitLog 存储路径

storePathCommitLog=/data/public/rocketmq/slave/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/public/rocketmq/slave/store/consumequeue

#消息索引存储路径

storePathIndex=/data/public/rocketmq/slave/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/public/rocketmq/slave/store/checkpoint

#abort 文件存储路径

abortFile=/data/public/rocketmq/slave/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制 Master

#- SYNC_MASTER 同步双写 Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

 172.******.142机器

修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-b.properties

#所属集群名字

brokerClusterName=test-rocketmq-cluster

#broker 名字,注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master,>0 表示 Slave

brokerId=0

#nameServer 地址,分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#安装可视化界面使用,需要是IP,不能是host

#设置broker节点所在服务器的ip地址(**这个非常重要,主从模式下,从节点会根据主节点的brokerIP2来同步数据,#如果不配置,主从无法同步,brokerIP1设置为自己外网能访问的ip,服务器双网卡情况下必须配置,比如阿里云这$种,#主节点需要配置ip1和ip2,从节点只需要配置ip1即可)

brokerIP1=172.******.142

brokerIP2=172.******.142

#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭

#进行发消息时,必须要指定topic,对于topic的设置有一个开关autoCreateTopicEnable,一#般在开发测试环境中会使用默认设置autoCreateTopicEnable = true,但是这样就会导致#topic的设置不容易规范管理,没有统一的审核等等,所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable = false。这样当需要增加topic时就需要在web管理界面上#添加即可。

autoCreateTopicEnable=false

#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭

autoCreateSubscriptionGroup=false

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点,默认凌晨 4 点

deleteWhen=04

#文件保留时间,默认 48 小时

fileReservedTime=120

#commitLog 每个文件的大小默认 1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/public/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/data/public/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/public/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/data/public/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/public/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/data/public/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制 Master

#- SYNC_MASTER 同步双写 Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-a-s.properties

#所属集群名字

brokerClusterName=test-rocketmq-cluster

#broker 名字,注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master,>0 表示 Slave

brokerId=1

#nameServer 地址,分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#安装可视化界面使用,需要是IP,不能是host

#设置broker节点所在服务器的ip地址(**这个非常重要,主从模式下,从节点会根据主节点的brokerIP2来同步数据,#如果不配置,主从无法同步,brokerIP1设置为自己外网能访问的ip,服务器双网卡情况下必须配置,比如阿里云这$种,#主节点需要配置ip1和ip2,从节点只需要配置ip1即可)

brokerIP1=172.******.142

#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭

#进行发消息时,必须要指定topic,对于topic的设置有一个开关autoCreateTopicEnable,一#般在开发测试环境中会使用默认设置autoCreateTopicEnable = true,但是这样就会导致#topic的设置不容易规范管理,没有统一的审核。所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable = false。这样当需要增加topic时就需要在web管理界面上#添加即可。

autoCreateTopicEnable=false

#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭

autoCreateSubscriptionGroup=false

#Broker 对外服务的监听端口,如果从节点是单独服务器,则可以使用默认端口19011

listenPort=10922

#删除文件时间点,默认凌晨 4 点

deleteWhen=04

#文件保留时间,默认 48 小时

fileReservedTime=120

#commitLog 每个文件的大小默认 1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/public/rocketmq/slave/store

#commitLog 存储路径

storePathCommitLog=/data/public/rocketmq/slave/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/public/rocketmq/slave/store/consumequeue

#消息索引存储路径

storePathIndex=/data/public/rocketmq/slave/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/public/rocketmq/slave/store/checkpoint

#abort 文件存储路径

abortFile=/data/public/rocketmq/slave/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制 Master

#- SYNC_MASTER 同步双写 Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

创建目录(两台机器都要创建)

#创建主节点目录

mkdir /data/public/rocketmq/store:实际数据存储的位置

mkdir /data/public/rocketmq/store/commitlog:

mkdir /data/public/rocketmq/store/consumequeue:类似于数据库索引的文件结构,

mkdir /data/public/rocketmq/store/index:用于快速查询索引

#创建从节点目录

    mkdir /data/public/rocketmq/slave

mkdir /data/public/rocketmq/slave/store:实际数据存储的位置

mkdir /data/public/rocketmq/slave/store/commitlog:

mkdir /data/public/rocketmq/slave/store/consumequeue:类似于数据库索引的文件结构,

mkdir /data/public/rocketmq/slave/store/index:用于快速查询索引

修改启动参数脚本

组件建议内存至少8g,但是我们在开发环境就写成1g,小于1g可能起不来

vim /data/public/rocketmq/bin/runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

RocketMQ双主双从环境搭建_第1张图片

 

vim /data/public/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g -XX:PermSize=128m -XX:MaxPermSize=320m"

RocketMQ双主双从环境搭建_第2张图片

 

启动

顺序是先启动nameserver,再启动broker。关闭则是先关闭broker在关闭nameserver。生产环境切勿删除store文件夹,生产环境禁止使用kill -9 命令删除broker进程,使用bin/下的mqshutdown命令;

172.******.120机器172.*******.142机器

启动nameserver

# 首先启动Name Server

nohup sh mqnamesrv &

### 验证Name Server 是否启动成功

tail -f /root/logs/rocketmqlogs/namesrv.log

The Name Server boot success. serializeType=JSON

##关闭 sh mqshutdown namesrv

RocketMQ双主双从环境搭建_第3张图片

 

启动broker

172.******.120主节点正常启动

备注:nohup sh mqbroker -n 172.31.241.120:9876 -c /data/public/rocketmq/conf/2m-2s-sync/broker-a.properties &

##启动broker

nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-a.properties &

##查看启动是否成功

tail -5f /root/logs/rocketmqlogs/broker.log

##关闭sh mqshutdown broker

 

172.******.142的主节点启动

##启动broker

nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-b.properties &

##查看启动是否成功

tail -5f /root/logs/rocketmqlogs/broker.log

##关闭sh mqshutdown broker

 

172.******.120从节点

##启动broker

nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

##查看启动是否成功

tail -5f /root/logs/rocketmqlogs/broker.log

##关闭sh mqshutdown broker

 

172.******.142从节点

##启动broker

nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

##查看启动是否成功

tail -5f /root/logs/rocketmqlogs/broker.log

##关闭sh mqshutdown broker

 

部署可视化界面

源码包下载地址:

下载完成后进行修改配置并打包部署即可:

仅需要修改这个配置即可

rocketmq.config.namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

注意users.properties中配置的是用户名密码(如果要启用可视化界面的登录,则需要打开application.properties文件中rocketmq.config.loginRequired=true即可)

规则:用户角色=用户名,密码

例如admin角色的用户名是admin,密码是1

则配置为admin=admin,1

访问界面:http://172.******.120:8080即可

RocketMQ双主双从环境搭建_第4张图片

注意:

如果发现依旧不是双主双从,则排查防火墙端口是否开放。一定要开启10911,10909,10912三个端口,其中10911为broker通信端口,10909是一个虚拟ip(vip)端口根据源码显示有一个源端口号-2的操作,10912为主从同步通信端口,单节点可以不开启。集群模式下不开启10912,从节点同步不了主节点数据。

#查看firewall服务状态

systemctl status firewalld

出现Active: active (running)切高亮显示则表示是启动状态。

RocketMQ双主双从环境搭建_第5张图片

 

出现 Active: inactive (dead)灰色表示停止,看单词也行。

 

#查看firewall的状态

firewall-cmd --state

#关闭防火墙

systemctl stop firewalld.service

#开启防火墙

systemctl start firewalld

#查询端口是否开放

firewall-cmd --query-port=10911/tcp

#开放指定端口

firewall-cmd --permanent --zone=public --add-port=9876/tcp

firewall-cmd --permanent --zone=public --add-port=10911/tcp

firewall-cmd --permanent --zone=public --add-port=10909/tcp

firewall-cmd --permanent --zone=public --add-port=10912/tcp

firewall-cmd --permanent --zone=public --add-port=10922/tcp

# 立即生效

firewall-cmd --reload

# 移除端口

firewall-cmd --permanent --remove-port=9876/tcp

firewall-cmd --permanent --remove-port=10911/tcp

firewall-cmd --permanent --remove-port=10909/tcp

firewall-cmd --permanent --remove-port=10912/tcp

firewall-cmd --permanent --remove-port=10922/tcp

你可能感兴趣的:(集成中间件问题,rocketmq)