RabbitMQ传统数据持久化和Lazy queue的区别

问题引出:

在了解这个问题前我们需要一些前置知识:

关于MQ可靠性,在默认情况下,RabbitMQ会将接收到的信息保存在内存中以降低消息收发的延迟。这样会导致两个问题:

  1. 一旦MQ宕机,内存中的信息会丢失

  2. 内存空间有限,当消费者故障或处理过慢时,会导致消息积压,引发MQ阻塞

所以为了解决这两个问题,我们引出了数据持久化的方法:

在3.12版本前,rabbitmq使用的传统方法即:

  1. 交换机持久化RabbitMQ传统数据持久化和Lazy queue的区别_第1张图片
  2. 队列持久化RabbitMQ传统数据持久化和Lazy queue的区别_第2张图片
  3. 消息持久化RabbitMQ传统数据持久化和Lazy queue的区别_第3张图片

在3.12版本之后,rabbitmq使用的Lazy queue进行数据持久化处理:

从RabbitMQ的3.6.0 版本开始,就增加了Lazy Queue的概念,也就是 惰性队列

惰性队列的特征如下:

  • 接收到消息后直接存入磁盘而非内存,(内存中只保留最近的信息,默认2048条)

  • 消费者需要消费消息时,才会从磁盘中读取并加载到内存

  • 支持数百万条的消息存储

那么,既然者两者都是将数据同时存储在内存和磁盘,为什么Lazy queue 强行取代了 传统化方式?

问题分析:

我们测试传统的持久化方法

@Test
    void testPageOut() {
        Message message = MessageBuilder
                .withBody("hello".getBytes(StandardCharsets.UTF_8))
                .setDeliveryMode(MessageDeliveryMode.PERSISTENT).build();
        for (int i = 0; i< 1000000; i++){
            rabbitTemplate.convertAndSend("simple.queue",message);
        }
    }

RabbitMQ传统数据持久化和Lazy queue的区别_第4张图片

我们发现数据会同时写入到内存和磁盘;

RabbitMQ传统数据持久化和Lazy queue的区别_第5张图片

同理使用lazy queue也是如此;

问题解决:

下面是它们之间的主要区别:

  1. 数据存储位置:传统的持久化方法将消息和队列的数据存储在磁盘上,而 lazy queue 将消息存储在磁盘上,但队列的元数据仍存储在内存中。这意味着 lazy queue 在存储大量消息时可以减轻内存压力,而传统持久化方法需要将所有数据都存储在磁盘上。

  2. 内存使用:传统的持久化方法需要将所有消息和队列的元数据都加载到内存中,这可能会导致内存消耗过大。而 lazy queue 只需要加载当前需要处理的消息到内存中,减少了内存的使用量。

  3. 性能优化:Lazy queue 在设计上采用了一些性能优化策略。例如,它使用预取(prefetch)策略,只在需要时将一批消息加载到内存中,减少了磁盘读取的次数。此外,RabbitMQ 还采用了一些磁盘读写优化技术,如顺序写入和批量写入,以提高性能。

  4. 适用场景:Lazy queue 适用于消息量较大、消息消费速度较慢的场景。它可以处理大量的消息,而不会对内存造成过大的压力。传统的持久化方法适用于消息量较小、消息消费速度较快的场景,可以提供更低的延迟。

你可能感兴趣的:(学习问题解决,rabbitmq,分布式)