RocketMQ 消息丢失问题。

依赖：

        
            org.apache.rocketmq
            rocketmq-client
            4.2.0
        

Producer1

package com.meng.demo.service;

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;


/**
 * @author meng
 * @create 2019/11/25
 */
@Component
public class Producer1 implements CommandLineRunner {

    @Value("${rocketmq.producer.namesrvAddr}")
    private String metaqNarneserver;

    public void messageListener() {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("mengProducer");
        consumer.setNamesrvAddr(metaqNarneserver);
        //consumer.setMessageModel(MessageModel.BROADCASTING);
        try {
            // 订阅PushTopic下 所有Tag的消息
            consumer.subscribe("meng", "*");
            // 程序第一次启动从消息队列头获取数据
            consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
            //可以修改每次消费消息的数量，默认设置是每次消费一条
            consumer.setConsumeMessageBatchMaxSize(1);
            //在此监听中消费信息，并返回消费的状态信息
            consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            // 会把不同的消息分别放置到不同的队列中
                for (Message msg : msgs) {
                    System.out.println("接收到了消息：" + new String(msg.getBody()));
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            });
            consumer.start();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public void run(String... args) {
        this.messageListener();
    }

}

ConsumerService

package com.meng.demo.service;

import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.protocol.heartbeat.MessageModel;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;

import javax.annotation.PostConstruct;
import javax.annotation.PreDestroy;

/**
 * @author meng
 * @create 2019/11/25
 */
@Service
public class ConsumerService {
    private DefaultMQProducer producer = null;

    @Value("${rocketmq.producer.namesrvAddr}") 
    private String metaqNarneserver;

    @PostConstruct
    public void initMQProducer() {
        producer = new DefaultMQProducer("mengConsumer");
        producer.setNamesrvAddr(metaqNarneserver);

        producer.setRetryTimesWhenSendAsyncFailed(3);
        try {
            producer.start();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }

    public void send(String topic, String msg) {
        Message msg2 = new Message(topic, "", "", msg.getBytes());
        try {
            producer.send(msg2);
            return;
        } catch (Exception e) {
            e.printStackTrace();
            return;

        }
    }

    @PreDestroy
    public void shutDownProducer() {
        if (producer != null) {
            producer.shutdown();
        }
    }
}

坑：

背景：

​ 起了五个消费者实例（两个广播模式，三个集群消费模式），生产者起20条消息。

​ 两个广播模式20条消息均能收到，三个集群消费模式的消费者 一人只收到了 5条消息。

​ 多次测试结果均是丢失消息。（mq是自己搭在虚拟机的。观察可视化界面是有消息的且未被消费）

​ 关闭所有实例 重启实例后， 上几次测试积压的消息全部涌向一个消费者被全部消费。

原因：

​ 订阅关系一致性， 订阅关系一致指的是同一个消费者 Group ID 下所有 Consumer 实例的处理逻辑必须完全一致。一旦订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失 。

总结：

​ 我在起多个实例的时候，广播模式和集群消费模式的消费者Group 是一样的，所以形成了结果。

​ 将集群模式和 广播模式的两类实例 Group 区分开起实例即可。

下所有 Consumer 实例的处理逻辑必须完全一致。一旦订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失 。

总结：

​ 我在起多个实例的时候，广播模式和集群消费模式的消费者Group 是一样的，所以形成了结果。

​ 将集群模式和 广播模式的两类实例 Group 区分开起实例即可。

参考： https://help.aliyun.com/document_detail/43523.html