rocketmq消费demo

场景

注册消费者

  1. 设置每次拉取的消息数
  2. 设置每次拉取的时间间隔

代码

@Component
@Slf4j
@ConditionalOnProperty(prefix = "rocketmq.logistics", value = "enabled", havingValue = "true", matchIfMissing = false)
@RocketMQMessageListener(nameServer = "${rocketmq.logistics.nameSrvAddr}", topic = "${rocketmq.logistics.topic}", consumerGroup = "${rocketmq.logistics.consumer.groupId}", consumeThreadNumber=400)
public class SingleLogisticsMessageListener implements RocketMQListener<LogisticSyncEntity>, RocketMQPushConsumerLifecycleListener {

    @Autowired
    private MqLogisticsSyncHandler mqLogisticsSyncHandler;

    @Autowired
    private MQDataControlService mqDataControlService;

    @Override
    public void onMessage(LogisticSyncEntity msgEntity) {
        if (msgEntity == null) {
            return;
        }

        if (!mqDataControlService.isNeedConsumeData(msgEntity)) {
            return;
        }
        mqLogisticsSyncHandler.sync(msgEntity);
    }

    @Override
    public void prepareStart(DefaultMQPushConsumer consumer) {
        // 每次拉取的间隔,单位为毫秒
        consumer.setPullInterval(2000);

        // 设置每次从队列中拉取的消息数为16
        consumer.setPullBatchSize(16);
    }
}

参考文档

单次pull消息的最大数目受broker存储的MessageStoreConfig.maxTransferCountOnMessageInMemory(默认为32)值限制,即若想要消费者从队列拉取的消息数大于32有效(pullBatchSize>32)则需更改Broker的启动参数maxTransferCountOnMessageInMemory值。在MQ削峰的配置参数里,以下几个DefaultMQPushConsumer的参数是需要注意一下的:

pullInterval:每次从Broker拉取消息的间隔,单位为毫秒
pullBatchSize:每次从Broker队列拉取到的消息数,该参数很容易让人误解,一开始我以为是每次拉取的消息总数,但测试过几次后确认了实质上是从每个队列的拉取数(源码上的注释文档真的很差,跟没有一样),即Consume每次拉取的消息总数如下: EachPullTotal=所有Broker上的写队列数和(writeQueueNums=readQueueNums) * pullBatchSize
consumeMessageBatchMaxSize:每次消费(即将多条消息合并为List消费)的最大消息数目,默认值为1,rocketmq-spring-boot-starter 目前不支持批量消费(2.1.0版本)
在消费者开始消息消费时会先从各队列中拉取一条消息进行消费,消费成功后再以每次pullBatchSize的数目进行拉取。

PraiseListener中设置了每次拉取的间隔为2s,每次从队列拉取的消息数为16,在搭建了2master broker且broker上writeQueueNums=readQueueNums=4的环境下每次拉取的消息理论数值为16 * 2 * 4 = 128,在第一次从各队列拉取1条消息(即共8条)后消费成功后会每次就会拉取最多128条消息进行消费,想验证下的可以把onMessage()的insert()改为http://log.info("1")然后统计单位秒内打印的日志数是否为128。

你可能感兴趣的:(java-rocketmq,rocketmq,java)