6.Springboot2.x集成RabbitMQ实现消费者限流,手动ack确认

Springboot2.x集成RabbitMQ实现消费者限流,手动ack确认

前言

我们在实际项目中,可能在mq中积累了成千上万的消息,如果我们不进行限流,当我们打开消费者的时候一下子成千上万的消息一下子冲击过来,可能会造成服务器宕机,或者业务出现严重漏洞,所以我们需要进行消费者限流。首先我的springboot版本,springBootVersion = ‘2.2.1.RELEASE’。其他版本配置差别都不大。

注意:在版本2.0之前的版本中,只有一种MessageListenerContainer—SimpleMessageListenerContainer;在2.0之后有第二个容器——DirectMessageListenerContainer,配置如下:

    listener:
    #Container where the RabbitMQ consumer dispatches messages to an invoker thread.
      type: simple
      simple:
        acknowledge-mode: manual
        prefetch: 1
    #Container where the listener is invoked directly on the RabbitMQ consumer thread.
      type: direct
      direct:
        acknowledge-mode: manual
        prefetch: 1

SimpleMessageListenerContainer

默认情况下,侦听器容器将启动单个使用者,该使用者将从队列接收消息。

在检查上一节中的表时,您将看到许多控制并发性的属性。最简单的是concurrentConsumers,它只创建(固定的)将并发处理消息的使用者数量。

此外,还添加了一个新的属性maxConcurrentConsumers,容器将根据工作负载动态调整并发性。这与四个附加属性一起工作:continutiveactivetrigger、startConsumerMinInterval、continutiveidletrigger、stopConsumerMinInterval。

在默认设置下,增加消费者的算法工作如下:

如果尚未到达maxConcurrentConsumers,并且已有的使用者连续10个周期处于活动状态,并且自上一个使用者启动以来至少已经过了10秒,那么将启动一个新的使用者。如果使用者在txSize *中接收到至少一条消息,则认为该使用者处于活动状态。

在默认设置下,减少消费者的算法工作如下:

如果有多个concurrentConsumers正在运行,并且某个consumer检测到10个连续超时(空闲),并且上一个consumer至少在60秒之前停止,那么该consumer将停止。超时取决于receiveTimeout和txSize属性。如果使用者在txSize *中没有接收到任何消息,则认为它是空闲的。因此,在默认超时(1秒)和txSize为4的情况下,在40秒的空闲时间(4个超时对应1个空闲检测)之后将考虑停止使用者。

DirectMessageListenerContainer

使用DirectMessageListenerContainer,您需要确保ConnectionFactory配置了一个任务执行器,该执行器在使用该ConnectionFactory的所有侦听器容器中具有足够的线程来支持所需的并发性。默认连接池大小仅为5。

并发性基于配置的队列和consumersPerQueue。每个队列的每个使用者使用一个单独的通道,并发性由rabbit客户端库控制;默认情况下,它使用5个线程池;您可以配置taskExecutor来提供所需的最大并发性。

对比

SimpleMessageListenerContainer提供了以下特性,但DirectMessageListenerContainer不提供:

  • txSize—使用SimpleMessageListenerContainer,您可以将其设置为控制事务中传递的消息数量和/或减少ack的数量,但这可能会导致失败后重复传递的数量增加。(与txSize和SimpleMessageListenerContainer一样,DirectMessageListenerContainer也有mesagesPerAck,可以用来减少ack,但不能用于事务—每个消息都在单独的事务中交付和打包)。

  • maxconcurrentconsumer和consumer伸缩间隔/触发器—DirectMessageListenerContainer中没有自动伸缩;但是,它允许您以编程方式更改consumersPerQueue属性,并相应地调整使用者。

然而,与SimpleMessageListenerContainer相比,DirectMessageListenerContainer有以下优点:

  • 在运行时添加和删除队列更有效;使用SimpleMessageListenerContainer,整个使用者线程重新启动(所有使用者取消并重新创建);对于DirectMessageListenerContainer,不受影响的使用者不会被取消。
    避免了RabbitMQ客户机线程和使用者线程之间的上下文切换。
  • 线程是跨使用者共享的,而不是为SimpleMessageListenerContainer中的每个使用者都有一个专用线程。但是,请参阅“线程和异步使用者”一节中有关连接工厂配置的重要说明。

yml配置

spring:
  application:
    name: zoo-plus-rabbitmq
  rabbitmq:
    virtual-host: /
    host: localhost
    port: 5672
    username: guest
    password: guest
    listener:
      type: simple
      simple:
        acknowledge-mode: manual #采用手动应答
        prefetch: 1 #限制每次发送一条数据。

新建一个队列:

    /**
     * 测试队列
     */
    @Bean
    public Queue testQueue() {
        return QueueBuilder.nonDurable("test-queue").build();
    }

生产者:

 
    /**
     * 发送五条数据,测试消费端必须ack才发送第二条,消费者限流
     */
    @GetMapping("ack")
    public Resp testAck() {
        for (int i = 0; i < 5; i++) {
            rabbitTemplate.convertAndSend("test-queue", "测试ack确认模式");
        }
        return Resp.success("ok", null);
    }

消费者:

    @RabbitListener(queues = {"test-queue"})
    public void testQueue(Message message, Channel channel) throws IOException {
        log.info("test-queue消费:" + new String(message.getBody()));
 
        /*
              listener:
                type: simple
                simple:
                  #采用手动应答
                  acknowledge-mode: manual
                  prefetch: 1 #限制每次发送一条数据。
         */
//        采用手动ack,一条条的消费
        channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
        
        /*
         * 还可以nack
         * 第三个参数是否重回队列
         */
//        channel.basicNack(message.getMessageProperties().getDeliveryTag(),false,true);
    }

由上面测试,如果我们没有配置,一下子五条信息就全部拥挤上来了,如果我们加了配置,不在消费端进行ack的话,消息就会unacked,下次重启服务也会再一次发送这条消息,直到消费端ack。

源码地址:https://gitee.com/zoo-plus/springboot-learn/tree/2.x/springboot-middleware/rabbitmq

你可能感兴趣的:(rabbitmq)