RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建

 

前言

       上一篇,我们通过命令行测试了一下官方提供的demo,大致了解了生产者发送消息和消费者接收消息的这么一个流程。当然,这仅仅是一个hello world式的测试,没什么实际作用。

       现在,我们将学习,在生产环境下如何使用RocketMQ。

一、RocketMQ各部分角色介绍

       RocketMQ 由四部分组成:Producer、 Consumer、Broker、NameServer。

       直接理解这四个概念的话,肯定是有难度的,我们类比一个现实中的例子--邮政系统。

       现实生活中的邮政系统要正常运行,离不开下面这四个角色,一是寄信的人,二是收信的人,三是负责暂存传输的邮局,四是负责协调各个地方邮局的管理机构。对应到RocketMQ 中,这四个角色就是Producer、 Consumer、Broker、NameServer。   

        集群部署下,RocketMQ各个角色之间的关系如下图所示。RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第1张图片

 

1、NameServer

       NameServer是整个消息队列中的状态服务器集群的各个组件通过它来了解全局的信息。同时,各个角色的机器都要定期向NameServer上报自己的状态,超时不上报的话,NameServer会认为某个机器出故障不可用了,其他的组件会把这个机器从可用列表里移除。

       Namesrv存储着Topic、Broker关系信息,功能简单,稳定性高。多个Namesrv之间相互没有通信,单台Namesrv宕机不影响其他Namesrv与集群;即使整个Namesrv集群宕机,已经正常工作的Producer,Consumer,Broker仍然能正常工作,但新启动的Producer, Consumer,Broker就无法工作。

2、Broker

       Broker是RocketMQ的核心,大部分“重量级”工作都是由Broker完成的,包括接收Producer发过来的消息、处理Consumer的消费消息请求、消息的持久化存储、消息的HA机制以及服务端过滤功能等。

3、Producer

       生产者,顾名思义,就是发送消息的。

       Producer启动时,需要指定Namesrv的地址,从Namesrv集群中选一台建立长连接。如果该Namesrv宕机,会自动连其他Namesrv。直到有可用的Namesrv为止。

       生产者每30秒从Namesrv获取Topic跟Broker的映射关系,更新到本地内存中。再跟Topic涉及的所有Broker建立长连接,每隔30秒发一次心跳。在Broker端也会每10秒扫描一次当前注册的Producer,如果发现某个Producer超过2分钟都没有发心跳,则断开连接。

       消息发送时,会默认以轮询queue列表的方式,往对应broker上的对应queue发送消息。

4、Consumer

       消费者,顾名思义,就是消费消息的。

       Consumer消费消息时,需要获取自己该负责消费topic下哪些queue中的消息,会从任意一台broker上查询与自己处于同一个消费者组的所有消费者ID,然后按平均分配的策略得出自己应该负责的queue列表。

       启动 RocketMQ 的顺序是先启动NameServer再启动Broker,这时候消息队列已经可以提供服务了,想发送消息就使用Producer来发送,想接收消息就使用Consumer来接收。很多应用程序既要发送,又要接收,可以启动多个Producer和Consumer来发送多种消息,同时接收多种消息。

       了解了各个角色的概念个主要作用之后,我们再来看邮局这个例子。假设你(Producer)要给朋友(Consumer)寄封信,肯定不能隔着十万八千里就扔给他,而是要先投递到邮局(Broker),邮局暂存和运输之后,朋友再从邮局里取件。而邮局管理机构(NameServer)则是专门统筹管理各个邮局(Broker)。

二、Topic和Message Queue

       除了上述四个角色之外,还有两个重要的概念需要介绍,一个是Topic,一个是Message Queue。

       一个分布式消息队列中间件部署好以后,可以给很多个业务提供服务(比方说物流系统,支付系统,企业内部管理系统等),同一个业务也有不同类型的消息要投递,这些不同的消息以不同的Topic名称来区分。

       一个生产者可以发送消息给一个或多个Topic,一个消息接受者可以订阅一个或者多个Topic消息。

       所以发送和接收消息前,先创建Topic,针对某个Topic发送和接收消息。有了Topic以后,还需要解决性能问题。如果一个Topic要发送和接受的数据量非常大,需要能支持增加并行处理的机器来提高处理速度,这时候一个Topic可以根据需求设置一个或多个Message Queue。Topic有了多个Message Queue后,消息可以并行地向各个Message Queue发送,消费者也可以并行地从多个Message Queue读取消息并消费。

三、集群搭建方式

1、集群特点

       NameServer是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步。

       Broker部署相对复杂,Broker分为Master和Slave,一个Master可以对应多个Slave,但一个Slave只能对应一个Master。Master与Slave的对应关系通过制定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接,定时注册Topic信息到所有NameServer

       Producer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Producer完全无状态,可集群部署。

        Consumer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。

2、集群模式

(1)单Master模式

      这种方式风不能称为集群,险较大,一旦Broker重启或者宕机时,会导致整个服务不可用。不建议线上环境使用,可以本地测试。

(2)多Master方式

       一个集群无Slave,全是Master,例如2个Master或者3个Master,这种模式的优缺点如下:

      优点:配置简单,单个Master宕机或者重启维护队应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下,由于RAID10磁盘非常可靠,消息也不会丢失(异步刷盘丢失少量消息,同步刷盘一条不丢),性能最高

      缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息实时性会受到影响。

(3)多Master多Slave模式(异步)

      每个Master配置一个Slave,有多对Master-Slave,HA采用异步复制方式,主备有短暂消息延迟(毫秒级),这种模式的优缺点如下:

      优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,同时master宕机后,消费者仍然可以从Slave消费,而且此过程对应透明,不需要人工干预,性能同多master模式几乎一样。

      缺点:Master宕机,磁盘损坏情况下会丢失少量信息。

(4)多Master多Slave模式(同步)

       每个master配置一个Slave,有多对Master-Slave,HA采取同步双写方式,即使只有主备都写成功,才向应用返回成功,这种模式的优缺点如下:

       优点:数据与服务都无单点故障,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高。

       缺点:性能比异步复制模式略低(大约低10%左右),发送单个消息的RT会略高,且目前版本在主节点宕机后,备机不能自动切换为主机。

四、双主双从集群搭建

1、总体架构

       双主双从的集群总体架构如下图所示:

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第2张图片

2、集群的工作流程

       启动NameServer,NameServer启动后监听端口,等待Broker、Producer、Consumer练上来,相当于一个路由控制中心。

       Broker启动,跟所有的NameServer保持长连接,定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后,NameServer集群中就有Topic跟Broker的映射关系。

       收发消息前,先创建Topic,创建Topic时需要指定该Topic要存储在哪些Broker上,也可以在发送消息时自动创建Topic。

       Producer发送消息,启动时先跟NameServer集群中的其中一台建立长连接,并从NameServer中获取当前发送的Topic存在哪些Broker上,轮询从队列列表中选择一个队列,然后与队列所在的Broker建立长连接从而向Broker发消息。

       Consumer跟Producer类似,跟其中一台NameServer建立长连接,获取当前订阅Topic存在哪些Broker上,然后直接跟Broker建立连接通道,开始消费消息。

3、服务器环境

序号

IP

角色

架构模式

1

192.168.159.130

nameserver、brokerserver

Master1Slave2

2

192.168.159.131

nameserver、brokerserver

Master2Slave1

       如表中所示,我用到了两台服务器。每台服务器都是一主一从,但是主从是交叉部署到两台服务器上的。这样做的好处是能够避免一台服务器挂了,导致主从都不可用。

       要确保两台机器之间能够通信。如果不能,先用百度大法解决了再说。

       我在两台机器上分别互相ping,都能ping得通,如下:

 

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第3张图片

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第4张图片

       这里我只用了两台服务器,在实际测试的时候,我启动两台服务器上MQ,进行消息的发送和接收,CPU和内存基本都耗尽了,变得非常卡。如果你的电脑性能比较好,开个四台服务器也是可以的。

4、防火墙和端口配置

       主机需要访问虚拟机的rocketmq服务和web服务,需要开放相关的端口号,简单粗暴的方式是直接关闭防火墙。

# 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disabled firewalld.service

       对于新手来说,可以这么做,比较省事。但是我还是建议为了安全,只开放特定的端口,因为生产环境下不可能关闭防火墙,在学习的时候,就一个学会端口操作。

       RocketMQ默认使用3个端口:9876、10911、11011。nameserver默认使用9876端口,master默认使用10911端口,slave默认使用11011端口。

       如果想打开这三个指定端口,可以通过下面几个命令解决。

# 开放9876端口
firewall-cmd --zone=public --add-port=9876/tcp --permanent
#关闭9876端口
firewall-cmd --zone=public --remove-port=9876/tcp --permanent
# 配置立即生效
firewall-cmd --reload
#查看防火墙所有开放的端口
firewall-cmd --zone=public --list-ports

命令含义:

--zone :作用域

--add-port=80/tcp :添加端口,格式为:端口/通讯协议

--permanent :永久生效,没有此参数重启后失效。

本文开放3个端口过后,如下图所示:

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第5张图片

 

5、配置环境变量

       配置环境变量的目的是使用rocketmq的命令比较方便,不用去加很长的路径。

       vim /etc/profile 打开文件,在文件末尾添加相关配置即可。或者在通过WinSCP等工具直接在/etc/profile路径下打开此文件,进行可视化编辑。

       我的配置如下,我将jdk和rocketMQ配置都贴进来了。根据你自己的解压路径,进行相关替换即可。

# jdk配置
export JAVA_HOME=/home/ztt/SoftWareAz/jdk1.8/jdk1.8.0_231
export JRE_HOME=/home/ztt/SoftWareAz/jdk1.8/jdk1.8.0_231/jre
export CLASSPATH=./:/home/ztt/SoftWareAz/jdk1.8/jdk1.8.0_231/lib:/home/ztt/SoftWareAz/jdk1.8/jdk1.8.0_231/jre/lib

# rocketmq配置
# 你的安装包解压的路径,因人而异
export ROCKETMQ_HOME=/home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release

export PATH=$PATH:/home/ztt/SoftWareAz/jdk1.8/jdk1.8.0_231/bin:/home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/bin

文件编辑完成之后,执行下面命令使配置文件生效。

 source /etc/profile

6、创建消息存储路径

       为例方便,我就直接在WinSCP工具里手动创建了,当然你也可以在控制台里通过mkdir命令创建。创建的目录如下:

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第6张图片

       在红框圈的两个目录rocketmq-store-a、rocketmq-store-b里面,再建下面的目录。

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第7张图片

7、broker配置文件

(1)需要配置的文件及其所在位置       

       再conf目录下面,可以看到下面的三个目录。根据名字我们也可以看出来,2m-2s-async是两主两从异步的方式,2m-2s-sync是两主两从同步的方式,2m-noslave是两主无从的方式。

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第8张图片

我们需要搭建的是双主双从同步模式,所以需要配置2m-2s-sync目录下的相关文件。

192.168.159.130服务器上需要配置的文件如下,对应master1和slave2

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第9张图片

192.168.159.131需要配置的文件如下,对应master2和slave1

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第10张图片

(2)配置内容详细

192.168.159.130服务器上的broker-a.properties文件:

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#brokerClusterName=DefaultCluster
#brokerName=broker-a
#brokerId=0
#deleteWhen=04
#fileReservedTime=48
#brokerRole=SYNC_MASTER
#flushDiskType=ASYNC_FLUSH
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0表示master,大于0表示slave
brokerId=0
#nameserver地址,分号分割。也可以直接使用hosts映射好的名字,而不直接写ip。
namesrvAddr=192.168.159.130:9876;192.168.159.131:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口。主10911,从11011
listenPort=10911
# 删除文件时间点,默认凌晨4点
deleteWhen=04
# 文件保留时间,默认48小时
fileReservedTime=120
#commitLog每个文件的大小,默认1g
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 消费队列存储路径存储路径
storePathRootDir=/home/ztt/SoftWareAz/rocketmq-store-a
#消息索引存储路径
storePathIndex=/home/ztt/SoftWareAz/rocketmq-store-a/index
#commitlog存储路径
storePathCommitLog=/home/ztt/SoftWareAz/rocketmq-store-a/commitlog
# 消费队列存储路径存储路径
storePathConsumerQueue=/home/ztt/SoftWareAz/rocketmq-store-a/consumerqueue
#checkpoint 文件存储路径。创建存储路径的时候没有这个
storeCheckpoint=/home/ztt/SoftWareAz/rocketmq-store-a/checkPoint
#abort 文件存储路径。创建存储路径的时候没有这个
abortFile=/home/ztt/SoftWareAz/rocketmq-store-a/abort
# 限制消息大小
maxMessageSize=65536
# broker的角色。ASYNC_MASTER异步复制master,SYNC_MASTER同步复制master,SLAVE
brokerRole=SYNC_MASTER
# 刷盘方式。同步SYNC_FLUSH,异步ASYNC_FLUSH
flushDiskType=SYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128  
# 拉消息线程池数量
#pullMessageThreadPoolNums=128  
# 你的公网ip
#brokerIP1=xxx

192.168.159.130服务器上的broker-b-s.properties文件:

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
# 0表示master,大于0表示slave
brokerId=1
# broker的角色。ASYNC_MASTER异步复制master,SYNC_MASTER同步复制master,SLAVE
brokerRole=SLAVE
#nameserver地址,分号分割。也可以直接使用hosts映射好的名字,而不直接写ip。
namesrvAddr=192.168.159.130:9876;192.168.159.131:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=11011
# 删除文件时间点,默认凌晨4点
deleteWhen=04
# 文件保留时间,默认48小时
fileReservedTime=120
#commitLog每个文件的大小,默认1g
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 消费队列存储路径存储路径
storePathRootDir=/home/ztt/SoftWareAz/rocketmq-store-b
#消息索引存储路径
storePathIndex=/home/ztt/SoftWareAz/rocketmq-store-b/index
#commitlog存储路径
storePathCommitLog=/home/ztt/SoftWareAz/rocketmq-store-b/commitlog
# 消费队列存储路径存储路径
storePathConsumerQueue=/home/ztt/SoftWareAz/rocketmq-store-b/consumerqueue
#checkpoint 文件存储路径。创建存储路径的时候没有这个
storeCheckpoint=/home/ztt/SoftWareAz/rocketmq-store-b/checkPoint
#abort 文件存储路径。创建存储路径的时候没有这个
abortFile=/home/ztt/SoftWareAz/rocketmq-store-b/abort
# 限制消息大小
maxMessageSize=65536
# 刷盘方式。同步SYNC_FLUSH,异步ASYNC_FLUSH
flushDiskType=ASYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128  
# 拉消息线程池数量
#pullMessageThreadPoolNums=128  
# 你的公网ip
#brokerIP1=xx

192.168.159.131服务器上的broker-a-s.properties文件:

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0表示master,大于0表示slave
brokerId=1
# broker的角色。ASYNC_MASTER异步复制master,SYNC_MASTER同步复制master,SLAVE
brokerRole=SLAVE
#nameserver地址,分号分割。也可以直接使用hosts映射好的名字,而不直接写ip。
namesrvAddr=192.168.159.130:9876;192.168.159.131:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=11011
# 删除文件时间点,默认凌晨4点
deleteWhen=04
# 文件保留时间,默认48小时
fileReservedTime=120
#commitLog每个文件的大小,默认1g
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 消费队列存储路径存储路径
storePathRootDir=/home/ztt/SoftWareAz/rocketmq-store-a
#消息索引存储路径
storePathIndex=/home/ztt/SoftWareAz/rocketmq-store-a/index
#commitlog存储路径
storePathCommitLog=/home/ztt/SoftWareAz/rocketmq-store-a/commitlog
# 消费队列存储路径存储路径
storePathConsumerQueue=/home/ztt/SoftWareAz/rocketmq-store-a/consumerqueue
#checkpoint 文件存储路径。创建存储路径的时候没有这个
storeCheckpoint=/home/ztt/SoftWareAz/rocketmq-store-a/checkPoint
#abort 文件存储路径。创建存储路径的时候没有这个
abortFile=/home/ztt/SoftWareAz/rocketmq-store-a/abort
# 限制消息大小
maxMessageSize=65536
# 刷盘方式。同步SYNC_FLUSH,异步ASYNC_FLUSH
flushDiskType=ASYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128  
# 拉消息线程池数量
#pullMessageThreadPoolNums=128  
# 你的公网ip
#brokerIP1=xxx

192.168.159.131服务器上的broker-b.properties文件:

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
# 0表示master,大于0表示slave
brokerId=0
# broker的角色。ASYNC_MASTER异步复制master,SYNC_MASTER同步复制master,SLAVE
brokerRole=SYNC_MASTER
#nameserver地址,分号分割。也可以直接使用hosts映射好的名字,而不直接写ip。
namesrvAddr=192.168.159.130:9876;192.168.159.131:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=10911
# 删除文件时间点,默认凌晨4点
deleteWhen=04
# 文件保留时间,默认48小时
fileReservedTime=120
#commitLog每个文件的大小,默认1g
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 消费队列存储路径存储路径
storePathRootDir=/home/ztt/SoftWareAz/rocketmq-store-b
#消息索引存储路径
storePathIndex=/home/ztt/SoftWareAz/rocketmq-store-b/index
#commitlog存储路径
storePathCommitLog=/home/ztt/SoftWareAz/rocketmq-store-b/commitlog
# 消费队列存储路径存储路径
storePathConsumerQueue=/home/ztt/SoftWareAz/rocketmq-store-b/consumerqueue
#checkpoint 文件存储路径。创建存储路径的时候没有这个
storeCheckpoint=/home/ztt/SoftWareAz/rocketmq-store-b/checkPoint
#abort 文件存储路径。创建存储路径的时候没有这个
abortFile=/home/ztt/SoftWareAz/rocketmq-store-b/abort
# 限制消息大小
maxMessageSize=65536
# 刷盘方式。同步SYNC_FLUSH,异步ASYNC_FLUSH
flushDiskType=SYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128  
# 拉消息线程池数量
#pullMessageThreadPoolNums=128  
# 你的公网ip
#brokerIP1=xx

8、服务启动

       启动前可以用java命令看一下有没有java环境,不然会启动失败。

(1)启动NameServer集群

       分别在192.168.159.130和192.168.159.131启动NameServer

# 进入bin目录
cd /home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/bin

# 启动nameserver
nohup sh mqnamesrv &

(2)启动Broker集群

       在192.168.159.130启动master1和slave2

# 进入bin目录
cd /home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/bin
# 启动master1
nohup sh mqbroker -c /home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/conf/2m-2s-sync/broker-a.properties &
# 启动slave2
nohup sh mqbroker -c /home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/conf/2m-2s-sync/broker-b-s.properties &

启动成功之后,通过jps可以查看到三个进程:NamesrvStartup、BrokerStartup、BrokerStartup

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第11张图片

在nohup.out文件里也可以看到启动成功了。

192.168.159.131启动master1和slave2

cd /home/ztt/SoftWare/rocketmq-all-4.5.1-bin-release/bin
# 启动master2:
nohup sh mqbroker -c /home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/conf/2m-2s-sync/broker-b.properties &
# 启动slave1:
nohup sh mqbroker -c /home/ztt/SoftWareAz/rocketmq-all-4.5.1-bin-release/conf/2m-2s-sync/broker-a-s.properties &

同样,可以通过jps查看是否启动成功:

RocketMQ修炼之路(三):生产环境下RocketMQ的集群搭建_第12张图片

       至此,一个双主双从的集群搭建完成。

       下面,我们就可以利用这个双主双从集群来做各种各样的操作了。

创作不易,抄袭可耻,保护原创,人人有责。

路漫漫其修远兮,欢迎留言讨论,一起进步。

你可能感兴趣的:(RocketMQ)