Rocketmq - 4 Broker配置文件，存储和HelloWorld

Broker配置文件

#所属集群名字 
brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样 
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
 brokerId=0 #nameServer地址，分号分割

brokerIP1 = 阿里云IP

namesrvAddr=阿里云IP:9876;腾讯云IP:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口 
listenPort=10911

#删除文件时间点，默认凌晨 4点
 deleteWhen=04

#文件保留时间，默认 48 小时 
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/javawork/rocketmq-all-4.3.0-bin-release/store

#commitLog 存储路径 
storePathCommitLog=/usr/javawork/rocketmq-all-4.3.0-bin-release/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/javawork/rocketmq-all-4.3.0-bin-release/store/consumequeue

#消息索引存储路径

storePathIndex=/usr/javawork/rocketmq-all-4.3.0-bin-release/store/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/javawork/rocketmq-all-4.3.0-bin-release/store/checkpoint

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE brokerRole=ASYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#abort 文件存储路径

abortFile=/usr/javawork/apache-rocketmq/store/abort

#限制的消息大小 maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

关于配置文件，需要关注的点有：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
brokerIP1 = 阿里云IP
#nameServer地址，分号分割
namesrvAddr= rocketmq-nameserver1 :9876; rocketmq-nameserver2 :9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000

其他点都相对来说，较为容易理解。但关于commitLog和ConsumeQueue涉及到了RocketMQ的存储。有必要进行较为深入的了解

RocketMQ的存储

RocketMQ的Consumer消费消息，采用零拷贝的方式。关于零拷贝，附一会介绍。
RocketMQ的数据存储结构如下：

RocketMQ的存储目录结构如下

这是在rocketmq根目录下的store，在配置双主环境的时候我们创建了store目录。完整的目录存储结构如下：

我们主要关注Commitlog和consumequeue和index。
consumequeue是抽象逻辑上的存储目录。比如ConsumerGroup和Topic这些都是抽象逻辑概念上的定义，分别是消费者群和主题。所以在其目录下会存放该抽象逻辑的数据在commitLog上存储的路径。
commitLog就是消息数据实际的存放路径，但是你无法从其中直接得到指定的消息的，需要配合consumequeue和index目录
index就是关于conmitLog和consumequeue之间的索引，他们之间交互产生对应需要索引。

Hello World

RocketMQ的hello world，我们需要做一些准备工作。可以根据rocketmq的源代码中的example来配合学习。

需要导包，打开rocketmq的源代码，拿取rocketmq的example目录下的包，因为是maven工具管理，你可以导入项目后，拿取生成依赖后的包，创建一个普通项目，也可以创建一个maven项目，引用它的pom.xml文件的内容。
我们采取创建普通项目的方式，最后拿到的包可以有这么多

但我们实际开发需要，只需要这么几个。这几个包含RocketMQ可能遇到的所有不同示例需要的jar包

我们可以拿取RocketMQ的example目录下的quistart包下的例子。然后进行解析步骤，写上注释。

生产者类

package org.apache.rocketmq.example.quickstart;

import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

/**
 * Producer:发送消息
 */
public class Producer {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        /**
         * 第一步：创建DefaultMQProducer类并设定生产者名称，设置setNamesrv，集群模式用;隔开，调用start方法启动生产者。
         */
        DefaultMQProducer producer = new DefaultMQProducer("producer-group-test");
        producer.setNamesrvAddr("120.77.178.74:9876;111.230.132.162:9876");
        producer.start();

        //发送10条消息
        for (int i = 0; i < 10; i++) {
            try {
                /**
                 * 第二步：使用Message类进行实例化消息，参数分别是：主题，标签，内容
                 */
                Message msg = new Message("TopicTest" /* Topic */,
                    "TagA" /* Tag */,
                    ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
                );

                /**
                 * 第三步：调用send方法发送消息，并关闭生产者
                 */
                SendResult sendResult = producer.send(msg);

                System.out.printf("%s%n", sendResult);
            } catch (Exception e) {
                e.printStackTrace();
                Thread.sleep(1000);
            }
        }

        producer.shutdown();
    }
}

消费者类

package org.apache.rocketmq.example.quickstart;

import java.util.List;

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;

/**
 * Consumer：消费者
 */
public class Consumer {

    public static void main(String[] args) throws InterruptedException, MQClientException {

        /**
         * 第一步：创建DefaultMQPushConsumer类并设定消费者名称,设置setNamesrvAddr，集群模式用;隔开
         */
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumer-group-test");
        consumer.setNamesrvAddr("120.77.178.74:9876;111.230.132.162:9876");

        /**
         * 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费
         * 如果非第一次启动，那么按照上次消费的位置继续消费
         */
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

        /**
         * 第二步：设置DefaultMQPushConsumer实例的订阅主题，一个消费者对象可以订阅多个主题，使用subscribe方法订阅【参数 1 主题名称，参数2 标签内容】，可以使用'||'对标签内容进行合并获取
         */
        consumer.subscribe("TopicTest", "*");

        /**
         * 第三步： 消费者实例注册监听，设置registerMessageListener方法
         */
        consumer.registerMessageListener(new MessageListenerConcurrently() {
             /**
             * 第四步： 监听类实现MessageListenerConcurrently接口即可，重写consumeMessage方法接受数据
             * 返回值有ConsumeConcurrentlyStatus.CONSUME_SUCCESS
             *      ConsumeConcurrentlyStatus.RECONSUME_LATER
             */
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List msgs,
                ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });

        /**
         * 第五步：启动消费者实例对象，调用start方法
         */
        consumer.start();

        System.out.printf("Consumer Started.%n");
    }
}

附一