AWS上RocketMQ的两主两从部署

1、准备机器

manager3  主  NameServer 172.31.61.130
worker-justfitv2 从 172.31.76.147
worker-oss 主  NameServer 172.31.80.14
worker-smarthome 从 172.31.56.103

2、下载安装rockectmq

cd /home/centos/install
wget http://mirror.bit.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip
yum install -y unzip
unzip rocketmq-all-4.2.0-bin-release.zip -d /home/centos/install/rocketmq

3、编辑/etc/hosts
vim /etc/hosts
172.31.61.130   manager3 rocketmq1_master
172.31.80.14 worker-oss rocketmq2_master
172.31.76.147 worker-smarthome rocketmq2_slave
172.31.56.103 worker-justfitv2 rocketmq1_slave

4、加上环境变量并创建相应目录
vim /etc/profile
export ROCKETMQ_HOME="/app/rocketmq"
export PATH="$PATH:/usr/local/bin:$ROCKETMQ_HOME/bin"
source /etc/profile
cp -rf ./rocketmq /app/
cd /app/

mkdir /app/rocketmq/store
mkdir /app/rocketmq/store/commitlog
mkdir /app/rocketmq/store/consumequeue
mkdir /app/rocketmq/store/index
mkdir /app/rocketmq/logs

5、配置文件
在rocketmq/conf/2m-2s-async/目录下。

5.1、不同配置

vim broker-a.properties

brokerName=broker-a
brokerId=0
brokerRole=ASYNC_MASTER
brokerIP1=172.31.61.130 #解决多网卡问题，本机ip地址

vim broker-a-s.properties

brokerName=broker-a
brokerId=1
brokerRole=SLAVE
brokerIP1=172.31.76.147 #解决多网卡问题，本机ip地址

vim broker-b.properties

brokerName=broker-b
brokerId=0
brokerRole=ASYNC_MASTER
brokerIP1=172.31.80.14 #解决多网卡问题，本机ip地址

vim broker-b-s.properties

brokerName=broker-b
brokerId=1
brokerRole=SLAVE
brokerIP1=172.31.56.103 #解决多网卡问题，本机ip地址

5.2、相同配置地方

#所属集群名字
brokerClusterName=rocketmq-cluster
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#broker名字，注意此处不同的配置文件填写的不一样，
#brokerName=broker-a
#0 表示 Master，>0 表示 Slave
#brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq1_master:9876;rocketmq2_master:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
#brokerRole=ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

6、修改runbroker.sh
由于机器的内存不够，这里统一修改最大1g给broker用
vim /app/rocketmq/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

7、配置jdk环境变量
vim /etc/profile

export JAVA_HOME="/usr/java/latest"
export CLASSPATH=".:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib"
export PATH="$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin"

source /etc/profile

8、启动manager3，worker-oss的nameserver服务

vim /etc/rc.local 添加下面内容到启动项。
nohup sh /app/rocketmq/bin/mqnamesrv &

同时在终端输入上面命令，启动nameserver服务。

9、分别启动每台机器的brokerserver服务

manager3：
    nohup sh mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

worker-justfitv2:
    nohup sh mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 &
    
worker-oss:
    nohup sh mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 &
    
worker-smarthome :
        nohup sh mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 &
    
    查看日志：tail -f /root/logs/rocketmqlogs/broker.log

    查看进程：jps

NamesrvStartup是RocketMQ的NameServer进程

BrokerStartup是RocketMQ的Brocker进程

杀掉RocketMQ进程，不推荐用kill命令，推荐用RocketMQ自带的命令mqshutdown

关闭NameServer 命令 mqshutdown namesrv

关闭brocker 命令 mqshutdown broker

[root@worker-oss centos]# jps
28615 Jps
27688 BrokerStartup
22494 NamesrvStartup

10、运行rocketmq-console，利用Web UI控制台，查看RocketMQ运行状态信息

在VPC里面的一台EC2机器上运行：

docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=172.31.61.130:9876;172.31.80.14:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t styletang/rocketmq-console-ng

利用弹性ip访问：http://xxx:8080/

运行界面如下图：

test.png

标题