rocketmq集群安装配置说明

本文采用多master+slave+nameservers的集群配置方式。

一、前提

1. 安装好JDK。JDK版本为1.6+ 64bit

2. 将alibaba-rocketmq-3.2.2.tar.gz上传到linux服务器。（现放到/opt/目录下）

     rocketmq下载地址：https://github.com/alibaba/RocketMQ/releases

     rocketmq github:      https://github.com/alibaba/RocketMQ

   1.赋权和解压源文件

>cd /opt/ >chmod 755 alibaba-rocketmq- 3.2 . 2 .tar.gz >tar -zxvf ./alibaba-rocketmq- 3.2 . 2 .tar.gz

   2.增加系统环境变量ROCKETMQ_HOME：

> vi /etc/profile

     添加：

ROCKETMQ_HOME=/opt/alibaba-rocketmq export ROCKETMQ_HOME

   3.使配置立即生效：

> source /etc/profile ##可以将$ROCKETMQ_HOME/bin加入到$PATH中，这样可以直接使用roketmq的bin目录程序

   4.增加系统启动后自动启动：

> vi /etc/rc ##(以下为启动nameserver节点和启动broker节点，视生产环境添加启动规则) ##启动nameserver节点 ##/opt/alibaba-rocketmq/local/start_nameserver.sh ##启动broker节点 ##/opt/alibaba-rocketmq/local/start_broker.sh

 

二、Rocketmq配置

 1.默认没有local目录，在$ROCKETMQ_HOME下新一个local目录用于创建启动nameserver和broker节点管理。

  

> mkdir $ROCKETMQ_HOME /local ; cd $ROCKETMQ_HOME /local > touch start_nameserver.sh #!/bin/sh #ROCKETMQ_HOME最好重新指定，以免出错 #JAVA_HOME重新指定，用于使用不同的jdk ROCKETMQ_HOME= /opt/alibaba-rocketmq export ROCKETMQ_HOME #mqnamesrv > ${console日志输出} 2>&1 & #可以使用mqnamesrc -p >namesrc.p取到默认配置文件，后续使用 #./mqnamesrv -c namesrv.p加载配置（这样可以修改namesrv的端口号，注意所有配置文#件格式为utf8最好。windows shell >出来的有问题） nohup $ROCKETMQ_HOME /bin/mqnamesrv -c $ROCKETMQ_HOME /bin/namesrv .properties >$ROCKETMQ_HOME /log/mqnamesrv .log 2>&1 &

> touch start_borker.sh #!/bin/sh #ROCKETMQ_HOME最好重新指定，以免出错 #JAVA_HOME重新指定，用于使用不同的jdk ROCKETMQ_HOME= /opt/alibaba-rocketmq export ROCKETMQ_HOME #mqbroker [-n ${nameserver地址}] -c ${broker的配置文件} > ${console日志输出} 2>&1 & nohup $ROCKETMQ_HOME /bin/mqbroker -c $ROCKETMQ_HOME /bin/broker .properties >$ROCKETMQ_HOME /log/mqbroker .log 2>&1 &

> touch stop_nameserver.sh #!/bin/sh #注释为杀进程方式关闭服务 #ps -ef |grep '../bin/mqnamesrv' |awk '{if($8!="'grep'") {print $2;exit}}' |while read pid # do # kill $pid # done $ROCKETMQ_HOME /bin/mqshutdown namesrv

> touch stop_borker.sh #!/bin/sh $ROCKETMQ_HOME /bin/mqshutdown broker

注意ROCKETMQ_HOME地址、nameserver地址更改、broker的配置文件地址

2.修改namesrv和broker的配置：

  修改namesrv配置：

> cd $$ROCKETMQ_HOME /bin >. /mqnamesrv -p > namesrv.properties #可以通过./namesrv.properties修改namesrv的端口号 #启动时按./mqnamesrv -c ./namesrv.properties 启动加载配置

  修改borker配置：

> cd $ROCKETMQ_HOME /bin >broker -m broker.properties # (当没有时可以使用此命令创建；此文件其实是.properties的文件。可以按.properties规则修改文件内容)

   cat broker.p显示以下内容：

namesrvAddr=192.168.45.214:9876 brokerIP1=192.168.45.214 brokerName=ROCKETMQAH brokerClusterName=DefaultCluster brokerId=0 autoCreateTopicEnable= true autoCreateSubscriptionGroup= true rejectTransactionMessage= false fetchNamesrvAddrByAddressServer= false storePathRootDir= /opt/alibaba-rocketmq/store storePathCommitLog= /opt/alibaba-rocketmq/store/commitlog storePathConsumeQueue= /opt/alibaba-rocketmq/consumequeue storePathIndex= /opt/alibaba-rocketmq/index storeCheckpoint= /opt/alibaba-rocketmq/checkpoint abortFile= /opt/alibaba-rocketmq/abort flushIntervalCommitLog=1000 flushCommitLogTimed= false deleteWhen=04 fileReservedTime=72 maxTransferBytesOnMessageInMemory=262144 maxTransferCountOnMessageInMemory=32 maxTransferBytesOnMessageInDisk=65536 maxTransferCountOnMessageInDisk=8 accessMessageInMemoryMaxRatio=40 messageIndexEnable= true messageIndexSafe= true haMasterAddress= brokerRole=ASYNC_MASTER flushDiskType=SYNC_FLUSH cleanFileForciblyEnable= false

   说明：

   1.namesrvAddr的地址，可以使用broker -n xxx.xxx.xxx.xxx方式指定。

   2.listenPort=10911（默认为10911）可以指定broker的服务开放地址。

   3.几个文件保存的地方需要重新指定，默认保存到use_dir下

   4.brokerName表示集群master组名称，同一个master+slave共用相同的brokerName。

   5.brokerClusterName 建议配置为同一个名称。

   6.brokerId为0时表示的master;大于0时表示slave;

   7.brokerRole 有ASYNC_MASTER异步master；SYNC_MASTER表示同步master；SLAVE表示slave

   8:flushDiskType表示producer到broker的处理方式：SYNC_FLUSH表示同步到文件后返回成功；ASYNC_FLUSH表示broker接收到后立即返回生产者成功，后续再同步到文件中

   9:cleanFileForciblyEnable 表示磁盘满后处理方式：true表示满后删除接收的文件。False表示立即停止服务。

   broke.p的详细配置可以参考《RocketMQ Developer Guide.pdf》中的broker使用指南 的说明。

3.修改日志配置：

   1.进行入$ROCKETMQ_HOME/conf目录下，将logback_*.xml 的所有xml文件的${user.home}改为${ROCKETMQ_HOME}。

三、集群配置要修改说明

   一、nameserver集群配置说明：

        多个nameserver的配置：

• 在另一台主机启动一个./start_nameserver.sh 这个不用修改

• 修改所有的borker的启动方式(配置了一个改为两个nameserver情况)，vi ./start_borker.sh 改 -n 192.168.45.214:9876 为-n ‘192.168.45.214:9876;192.168.56.46:9876’

• 所有的客户端程序（即producer，consumer） xxxx..setNamesrvAddr("192.168.45.214:9876;192.168.56.46:9876");

   二、borker节点结群说明：

   1.查看并修改nameserver节点配置

    完成（一、前提）的情况下，修改$ROCKETMQ_HOME/local 下的start_nameserver.sh 的$ROCKETMQ_HOME内容。

> cd $$ROCKETMQ_HOME /local > vi start_nameserver.sh #修改$ROCKETMQ_HOME，修改为当前的rocketmq地址，如果没有变化不用做修改

   管理nameserver节点：启动./start_nameserver.sh 停止./stop_nameserver.sh

   2.查看并修改broker_master节点配置：

  修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

•   修改brokerIP1 为本机IP；

•   brokerName 为定义的master组名称；

•   brokerId 填0；

•   brokerRole 选择MASTER相关选项；

•   flushDiskType值选择borker回复方式；

  启用./start_broker.sh 停止./stop_broker.sh

    3.修改和配置broker_slave节点：

     1.完成前提的情况下，修改$ROCKETMQ_HOME/local 下的start_broker.sh 的$ROCKETMQ_HOME内容和${nameserver地址}；。

     2.修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

• 修改brokerIP1 为本机IP,

• brokerName 为定义的master组名称

• brokerId 填大于0

• brokerRole 选择SLAVE

• flushDiskType值选择borker回复方式

     启用./start_broker.sh 停止./stop_broker.sh

四、客户端开发

          Producer，consumer在初始化时配置参考《RocketMQ Developer Guide.pdf》中的客户端 API 形式。

          注意consumer返回时:

           ConsumeConcurrentlyStatus.CONSUME_SUCCESS;--表示消费成功

           ConsumeConcurrentlyStatus.RECONSUME_LATER;--表示处理失败，并后面请broker过一定时间后再次下发。

           consumer.setMessageModel(MessageModel.BROADCASTING);--表示广播消费，也就是每个master都要撸一次。默认是MessageModel.CLUSTERING 这个《RocketMQ Developer Guide.pdf》写错了，表集群处理模式，一个请求只被一个master节点处理一次，要以自个测试结果为准。后续最好看下源码。

五、监控程序rocketmq_console和集群验证

监控为一个外置war文件，下载地址为：

    https://github.com/rocketmq/rocketmq-console.git

• 使用MAVEN进行编译（附件中有编好的war包）

• 下载后，需修改：src/main/resources/config.properties：

              Rocketmq.namesrv.addr内容，指向nameserver地址

      集群配置完成后，使用rockertmq_console访问和验证：

     分别启动一个consumer和producer 处理空业务，并查看rocketmq_console的 http://localhost:8080/rocketmq-console/cluster/list.do 显示情况

     以下为只有一个master+slave；多个master组合时，会出现多个这样的表格内容。

 

   1.查看http://localhost:8080/rocketmq-console/cluster/list.do节点情况（主要查看是否以master+slave为组的，一组一组的列表显示；注意#Broker_name是否为borker.p配置的地址和端口号（目前rocketmq在配置失效后，会使用默认的配置，所以需要查下是否配置正确））

六、问题说明

          本文档采用的是，多nameserver+master+slave(一个master只有一个slave，没有必要多个slave)。

          1.master停掉后不切到slave进行处理。

            首先slave只处理consumer的内容，即只负责发内容到consumer。当master停止后，这个master+slave的组合并不能再接收producer的任务。只能将自个没有处理完成的处理掉。这时producter的任务会分配给其它master节点进行处理。

          2.$ROCKETMQ_HOME/bin下面的exe不能执行：

             bin里面的exe程序，是用64位编译的，exe程序不支持32位的系统；jdk也最好是64位的。

          4.为什么broker broker.p 地址不能生效

             window shell 执行mqbroker -m > broker.p生成的文件编码有问题。java后面解析不出来。生成的配置文件最好为utf-8文件。

          5.后面遇到再说明：

七、附件

RocketMQ Developer Guide.pdf

rocketmq_ext.zip   (local目录文件和配置文件及conf修改)

rocketmq-console.war console客户端

       

八、参考文档

       《RocketMQ Developer Guide.pdf》