RocketMQ 与 Spring Cloud Stream整合(七、消息过滤）

RocketMQ 提供了两种方式给 Consumer 进行消息的过滤：

• 基于 Tag 过滤

  标签（Tag）：为消息设置的标志，用于同一主题下区分不同类型的消息。来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性，并优化 RocketMQ 提供的查询系统。消费者可以根据 Tag 实现对不同子主题的不同消费逻辑，实现更好的扩展性。

• 基于 SQL92 过滤，示例：https://www.jianshu.com/p/5b13868f4451

消息过滤目前是在 Broker 端实现的，优点是减少了 Broker 和 Consumer 之间的无用消息的网络传输，缺点是增加了 Broker 的负担、而且实现相对复杂。

一般情况下，我们使用 Tag 过滤较多，我们来搭建一个 RocketMQ 使用 Tag 进行消息过滤的示例。考虑方便，我们直接复用快速入门小节的项目：

• 修改 [sca-stream-rocketmq-producer] 发送带有 Tag 的消息。
• 从 [sca-stream-rocketmq-consumer复制出 [sca-stream-rocketmq-consumer-filter]来使用 Tag 过滤消息来消费。

先搭建消费者。

7.1 Demo01Controller

修改 [Demo01Controller]类，增加发送 3 条带 Tag 的消息的 HTTP 接口。代码如下：

    /**
     * 发送3条带有tag的message
     *
     * @return
     */
    @GetMapping("/send_tag")
    public boolean sendTag() {
        for (String tag : new String[]{"trek", "specialized", "look"}) {
            // 创建 Message
            Demo01Message message = new Demo01Message()
                    .setId(new Random().nextInt());
            // 创建 Spring Message 对象
            Message springMessage = MessageBuilder.withPayload(message)
                    .setHeader(MessageConst.PROPERTY_TAGS, tag) //  <1> 设置 Tag
                    .build();
            // 发送消息
            mySource.erbadagangOutput().send(springMessage);
        }
        return true;
    }

在 <1> 处，通过添加头 MessageConst.PROPERTY_TAGS，设置发送消息的 Tag。

再搭建消费者。

7.2 复制项目

从 [sca-stream-rocketmq-consumer] 复制出 [sca-stream-rocketmq-consumer-filter] 来使用 Tag 过滤消息来消费。

9.3 配置文件

修改 [application.yml] 配置文件，设置 tags 配置项为 trek || look，只消费带有 Tag 为 trek 或 look 的消息。完整配置如下：

spring:
  application:
    name: erbadagang-consumer-application
  cloud:
    # Spring Cloud Stream 配置项，对应 BindingServiceProperties 类
    stream:
      # Binding 配置项，对应 BindingProperties Map
      bindings:
        erbadagang-input:
          destination: ERBADAGANG-TOPIC-01 # 目的地。这里使用 RocketMQ Topic
          content-type: application/json # 内容格式。这里使用 JSON
          group: erbadagang-consumer-group-ERBADAGANG-TOPIC-01 # 消费者分组,命名规则：组名+topic名

      # Spring Cloud Stream RocketMQ 配置项
      rocketmq:
        # RocketMQ Binder 配置项，对应 RocketMQBinderConfigurationProperties 类
        binder:
          name-server: 101.133.227.13:9876 # RocketMQ Namesrv 地址
        # RocketMQ 自定义 Binding 配置项，对应 RocketMQBindingProperties Map
        bindings:
          erbadagang-input:
            # RocketMQ Consumer 配置项，对应 RocketMQConsumerProperties 类
            consumer:
              enabled: true # 是否开启消费，默认为 true
              broadcasting: false # 是否使用广播消费，默认为 false 使用集群消费
              tags: trek || look # 基于 Tag 订阅，多个 Tag 使用 || 分隔，默认为空
              sql: # 基于 SQL92 订阅，默认为空
server:
  port: ${random.int[10000,19999]} # 随机端口，方便启动多个消费者

想要基于 SQL92 过滤消息，可以通过设置 sql 配置项。

7.4 简单测试

① 执行 ConsumerApplication，启动消费者的实例。
② 执行 ProducerApplication，启动生产者的实例。
之后，请求 http://127.0.0.1:18080/demo01/send_tag 接口，发送带有 Tag 的消息。IDEA 控制台输出日志如下：

2020-08-06 21:31:14.711  INFO 15396 --- [MessageThread_1] c.e.s.s.r.c.listener.Demo01Consumer      : [onMessage][线程编号:76 消息内容：Demo01Message{id=-1436746476}]
2020-08-06 21:31:14.714  INFO 15396 --- [MessageThread_1] c.e.s.s.r.c.listener.Demo01Consumer      : [onMessage][线程编号:76 消息内容：Demo01Message{id=-1283315762}]

只消费了两条消息，目测 Tag 为 specialized 的消息已经被过滤了。要注意，被过滤掉的消息，后续是无法被消费组消费掉了，效果和消费成功是一样的。

7.5 Consumer 过滤器

上面我们看到的是 RocketMQ 独有的 Broker级别的消息过滤机制，而 Spring Cloud Stream 提供了通用的 Consumer 级别的效率过滤器机制。我们只需要使用 @StreamListener 注解的 condition 属性，设置消息满足指定 Spring EL 表达式的情况下，才进行消费。

/**
* A condition that must be met by all items that are dispatched to this method.
* @return a SpEL expression that must evaluate to a {@code boolean} value.
*/
String condition() default "";

修改 [Demo01Consumer]类，使用 @StreamListener 注解的 condition 属性来过滤消息。代码如下：

package com.erbadagang.springcloudalibaba.stream.rocketmq.consumer.listener;

import com.erbadagang.springcloudalibaba.stream.rocketmq.consumer.message.Demo01Message;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.cloud.stream.annotation.StreamListener;
import org.springframework.messaging.handler.annotation.Payload;
import org.springframework.stereotype.Component;

@Component
public class Demo01Consumer {

    private Logger logger = LoggerFactory.getLogger(getClass());
/*

    @StreamListener(MySink.ERBADAGANG_INPUT)
    public void onMessage(@Payload Demo01Message message) {
        logger.info("[onMessage][线程编号:{} 消息内容：{}]", Thread.currentThread().getId(), message);
    }
*/

    @StreamListener(value = MySink.ERBADAGANG_INPUT, condition = "headers['rocketmq_TAGS'] == 'trek'")
    public void onMessage(@Payload Demo01Message message) {
        logger.info("[onMessage][线程编号:{} 消息内容：{}]", Thread.currentThread().getId(), message);
    }
}

这里我们设置消息的 Header 带有的rocketmq_TAGS值为 trek 时，才进行消费。
多个条件适宜SpEL表达式：@StreamListener(value = MySink.ERBADAGANG_INPUT, condition = "headers['rocketmq_TAGS'] == 'trek'||headers['rocketmq_TAGS'] == 'look'")

7.5.1 再次测试

① 执行 ConsumerApplication，启动消费者的实例。
② 执行 ProducerApplication，启动生产者的实例。
之后，请求 http://127.0.0.1:18080/demo01/send_tag 接口，发送带有 Tag 的消息。IDEA 控制台输出日志如下：

// tag为trek的正常消费了。
2020-08-06 21:50:14.672  INFO 11016 --- [MessageThread_1] c.e.s.s.r.c.listener.Demo01Consumer      : [onMessage][线程编号:77 消息内容：Demo01Message{id=880062806}]
//这个消息虽然在yml中订阅了，但java方法没有配@StreamListener所以报错。
2020-08-06 21:50:14.673  WARN 11016 --- [MessageThread_1] .DispatchingStreamListenerMessageHandler : Cannot find a @StreamListener matching for message with id: a7eb0b98-df97-f2ec-d566-ca514c1482c2

只消费了一条消息，Tag 为 specialized 的消息被 Broker 过滤，Tag 为 look 的消息被 Consumer 过滤。要注意，被过滤掉的消息，后续是无法被消费掉了，效果和消费成功是一样的。

7.5.2 控制台查看

• trek这条消息是被正常消费的。

  
  
  trek message

• specialized被broker过滤了，但是等同已消费。

  
  
  specialized

底线

---

本文源代码使用 Apache License 2.0开源许可协议，这里是本文源码Gitee地址，可通过命令git clone+地址下载代码到本地，也可直接点击链接通过浏览器方式查看源代码。