RabbitMQ 延迟队列详解
一、延迟队列概念
延迟队列存储的对象是对应的延迟消息，所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费。
二、延迟队列使用场景
1、订单在十分钟之内未支付则自动取消
2、新创建的店铺，如果在十天内都没有上传过商品，则自动发送消息提醒。
3、用户注册成功后，如果三天内没有登录则进行短信提醒。
4、用户发起退款后，如果三天内没有得到处理则通知相关运营人员。
5、预定会议后，需要在预定时间点前十分钟通知各个与会人员参加会议。
这些场景都有一个特点，需要在某个时间发生之后或者之前的指定时间点完成某一项任务，如：发生订单生成事件，在十分钟之后检查该订单支付状态，然后将未支付的订单进行关闭。看起来似乎使用定时任务，一直轮询数据，每秒查一次，然后取出需要被处理的数据进行处理就可以了。如果数据量比较少，确实可以这样做，比如：对于“如果账单一周内未支付则进行自动结算”这样的需求，如果对于时间不是严格限制，而是宽松意义上的一周，那么每天晚上跑个定时任务检查一下所有未支付的账单，确实也是一个可行的方案。但对于数据量比较大，并且时效性较强的场景，如：“订单十分钟内未支付则关闭”，短期内未支付的订单数据可能会很多，活动期间甚至会达到百万甚至千万级别，对这么庞大的数据量仍旧使用轮询的方式显然是不可取的，很可能在一秒内无法完成所有订单的检查，同时会给数据库带来很大压力，无法满足业务要求而且性能低下。
三、RabbitMQ 中的 TTL
TTL 是 RabbitMQ 中一个消息或者队列的属性，表明一条消息或者该队列中的所有消息的最大存活时间，单位是毫秒。目前有两种方法可以设置消息的 TTL。第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间。第二种方法是对消息本身进行单独设置，每条消息的 TTL 可以不同。如果两种方法一起使用，则消息的 TTL 以两者之间较小的那个数值为准。消息在队列中的生存时间一旦超过设置的 TTL 值时，就会变成“死信”。
3.1 消息设置 TTL
针对每条消息设置 TTL 的方法时在 channel.basicPublish 方法中加入 expiration 的属性参数，单位为毫秒。
代码示例：
// 设置消息 TTL 过期时间为 10s
AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().expiration("10000").build();
String message = "info";
channel.basicPublish(EXCHANGE_NAME, "zhangsan", properties, message.getBytes());
3.2 设置队列 TTL
通过 channel.queueDeclare 方法中的 x-expires 参数可以控制队列被自动删除前处于未使用状态的时间。未使用的意思是队列上没有任何的消费者，队列也没有被重新声明，并且在过期时间段内也未调用过 Basic.get 命令。
RabbitMQ 会确保在过期时间到达后将队列删除，但是不保障删除的动作有多及时。在 RabbitMQ 重启后，持久化的队列的过期时间会被重新计算。
用于表示过期时间的 x-expires 参数以毫秒为单位，并且服从和 x-message-ttl 一样的约束条件，不过不能设置为 0。比如该参数设置为 1000，则表示该队列如果在 1 秒钟之内未使用则会被删除。
代码示例：
Map<String,Object> args = new HashMap<>();
args.put("x-expires", 1800000);
channel.queueDeclare("myqueue",false, false, false, args);
3.3 两者的区别
如果设置了队列的 TTL 属性，那么一旦消息过期，就会被队列丢弃（如果配置了死信队列则会被丢到死信队列中），而第二种方式，消息即使过期，也不一定会被马上丢弃，因为消息是否过期是在即将投递到消费者之前判定的，如果当前队列有严重的消息积压情况，则已过期的消息也许还能存活较长时间；另外，还需要注意一点是，如果不设置 TTL，表示消息永远不会过期，如果将 TTL 设置为 0，则表示除非此时可以直接投递该消息到消费者，否则该消息将会别丢弃。
四、SpringBoot 整合 RabbitMQ
4.1 添加依赖
<dependencies>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-amqpartifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
<dependency>
<groupId>org.projectlombokgroupId>
<artifactId>lombokartifactId>
<optional>trueoptional>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-testartifactId>
<scope>testscope>
dependency>
<dependency>
<groupId>org.springframework.amqpgroupId>
<artifactId>spring-rabbit-testartifactId>
<scope>testscope>
dependency>
<dependency>
<groupId>com.alibabagroupId>
<artifactId>fastjsonartifactId>
<version>1.2.80version>
dependency>
dependencies>
4.2 修改配置文件
spring:
rabbitmq:
host: IP地址
username: admin
password: admin
port: 5672
virtual-host: /test
五、队列 TTL
5.1 代码框架图
创建两个队列 QA 和 QB，两个队列 TTL 分别设置为 10s 和 40s，然后再创建一个交换机 X 和死信交换机 Y，它们的类型都是 direct，创建一个死信队列 QD，它们的绑定关系如下：
5.2 配置文件类代码
@Configuration
public class TtlQueueConfig {
/**
* 普通交换机名称
*/
public static final String X_EXCHANGE = "X";
/**
* 死信交换机名称
*/
public static final String Y_DEAD_LETTER_EXCHANGE = "Y";
/**
* 普通队列名称
*/
public static final String QUEUE_A = "QA";
public static final String QUEUE_B = "QB";
/**
* 死信队列名称
*/
public static final String DEAD_LETTER_QUEUE = "QD";
/**
* 声明 XExchange
*/
@Bean
public DirectExchange xExchange(){
return new DirectExchange(X_EXCHANGE);
}
/**
* 声明 yExchange
*/
@Bean
public DirectExchange yExchange(){
return new DirectExchange(Y_DEAD_LETTER_EXCHANGE);
}
/**
* 声明队列QA
*/
@Bean
public Queue queueA(){
Map<String, Object> arguments = new HashMap<>(3);
// 设置死信交换机
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
// 设置死信路由键
arguments.put("x-dead-letter-routing-key", "YD");
// 设置过期时间
arguments.put("x-message-ttl", 10000);
return new Queue(QUEUE_A, true, false, false, arguments);
}
/**
* 声明队列QB
*/
@Bean
public Queue queueB(){
Map<String, Object> arguments = new HashMap<>(3);
// 设置死信交换机
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
// 设置死信路由键
arguments.put("x-dead-letter-routing-key", "YD");
// 设置过期时间
arguments.put("x-message-ttl", 40000);
return QueueBuilder.durable(QUEUE_B).withArguments(arguments).build();
}
/**
* 死信队列QD
*/
@Bean
public Queue queueD(){
return QueueBuilder.durable(DEAD_LETTER_QUEUE).build();
}
/**
* 绑定
*/
@Bean
public Binding queueABindingX(@Qualifier("queueA") Queue queueA,@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueA).to(xExchange).with("XA");
}
@Bean
public Binding queueBBindingX(){
return new Binding(QUEUE_B, Binding.DestinationType.QUEUE, X_EXCHANGE, "XB", null);
}
@Bean
public Binding queueDBindingY(@Qualifier("queueD") Queue queueD,@Qualifier("yExchange") DirectExchange yExchange){
return BindingBuilder.bind(queueD).to(yExchange).with("YD");
}
}
5.3 消息生产者代码
@Slf4j
@RestController
@RequestMapping("/ttl")
public class SendMsgController {
@Autowired
private RabbitTemplate rabbitTemplate;
@GetMapping("/sendMsg/{message}")
public String sendMsg(@PathVariable String message){
log.info("当前时间：{}发送一条消息{}给两个队列", new Date(), message);
rabbitTemplate.convertAndSend("X", "XA", "消息来自TTL为10s队列QA："+message);
rabbitTemplate.convertAndSend("X", "XB", "消息来自TTL为40s队列QB："+message);
return "发送成功";
}
}
5.4 消息消费者代码
@Slf4j
@Component
public class DeadLetterConsumer {
@RabbitListener(queues = "QD")
public void receiveD(Message message){
String msg = new String(message.getBody());
log.info("当前时间{}，收到死信队列的消息：{}", new Date(), msg);
}
}
发送一个请求 http://localhost:8080/ttl/sendMsg/嘻嘻嘻
第一条消息在 10s 后变成了死信消息，然后被消费者消费掉了，第二条消息在 40s 之后变成了死信消息，然后被消费掉，这样一个延时队列就完成了。
不过，如果这样使用的话，岂不是每增加一个新的时间需求，就要新增一个队列，这里只有 10s 和 40s 两个时间选项，如果需要一个小时后处理，那么就需要增加 TTL 为一个小时的队列，如果是预定会议室，然后提前通知这样的场景，岂不是要增加无数个队列才能满足需求？
六、延时队列优化
6.1 代码架构图
在这里新增了一个队列 QC，绑定关系如下，该队列不设置 TTL 时间
6.2 配置类文件代码
@Component
public class MsgTtlQueueConfig {
private static final String Y_DEAD_LETTER_EXCHANGE = "Y";
private static final String QUEUE_C = "QC";
@Bean("queueC")
public Queue queueC(){
Map<String, Object> arguments = new HashMap<>(2);
// 声明当前队列绑定的死信交换机
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
// 声明当前队列的私信路由key
arguments.put("x-dead-letter-routing-key", "YD");
return new Queue(QUEUE_C, false, false, false, arguments);
}
@Bean
public Binding queueCBindingX(@Qualifier("queueC") Queue queueC,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueC).to(xExchange).with("XC");
}
}
6.3 消息生产者代码
@GetMapping("/sendMsg/{message}/{ttlTime}")
public String sendMsg(@PathVariable String message, @PathVariable String ttlTime){
MessagePostProcessor messagePostProcessor = new MessagePostProcessor() {
@Override
public Message postProcessMessage(Message message) throws AmqpException {
message.getMessageProperties().setExpiration(ttlTime);
return message;
}
};
rabbitTemplate.convertAndSend("X", "XC", message, messagePostProcessor);
return "发送成功";
}
可以改为 Lambda 表达式：
@GetMapping("/sendExpirationMsg/{message}/{ttlTime}")
public String sendMsg(@PathVariable String message, @PathVariable String ttlTime){
rabbitTemplate.convertAndSend("X", "XC", message, (messagePostProcessor) -> {
messagePostProcessor.getMessageProperties().setExpiration(ttlTime);
return messagePostProcessor;
});
return "发送成功";
}
MessagePostProcessor 是一个函数式接口，通常使用 lambda 表达式来实现：
amqpTemplate.convertAndSend(routingKey, m -> {
m.getMessageProperties().setDeliveryMode(DeliveryMode.NON_PERSISTENT);
return m;
});
该接口会在框架中的几个地方使用，例如 AmqpTemplateconvertAndSend(Object, MessagePostProcessor) ，它可用于在执行消息转换后添加或者修改标头或属性。它还可用于在监听器容器和 AmqpTemplate 中接收消息时修改入站消息。
@FunctionalInterface
public interface MessagePostProcessor {
/**
* 用于修改或替换消息
*/
Message postProcessMessage(Message message) throws AmqpException;
/**
* 用于修改或替换消息，也可修改消息的相关数据。仅适用于出站消息
*/
default Message postProcessMessage(Message message, Correlation correlation) {
return postProcessMessage(message);
}
/**
* 用于修改或替换消息，也可修改消息的相关数据。仅适用于出站消息
*/
default Message postProcessMessage(Message message, Correlation correlation, String exchange, String routingKey) {
return postProcessMessage(message, correlation);
}
}
将程序执行，然后发送请求：
http://localhost:8080/ttl/sendExpirationMsg/你好 1/20000
http://localhost:8080/ttl/sendExpirationMsg/你好 2/2000
两条消息的过期时间一致，过期时间短的那条消息，在过期时间到了以后并没有立即被消费，而是和过期时间长的那条消息一起被消费了。所以，如果使用在消息属性上设置 TTL 的方式，消息可能并不会按时“死亡”，因为 RabbitMQ 只会检查第一个消息是否过期，如果过期则丢到死信队列，如果第一个消息的延时时长很长，而第二个消息的延时时长很短，第二个消息并不会优先得到执行。
七、Rabbitmq 插件实现延迟队列
上面提到的问题，确实是一个问题，如果不能实现在消息粒度上的 TTL，并使其在设置的 TTL 时间及时死亡，就无法设计成一个通用的延时队列。
7.1 Docker 安装延时队列插件
安装教程可以参照这位大佬的文章：docker 安装 rabbitmq并添加延迟队列插件
注意：我在安装完成延时队列插件后无法登录 RabbitMQ 的后台管理系统，一直提示不是私密连接，怀疑是安装插件后，账户被清除了，重新创建一下就可以了。
进入docker：docker exec -it rabbitmq /bin/bash
添加账号：rabbitmqctl add_user admin admin
设置角色：rabbitmqctl set_user_tags admin administrator
设置权限：rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
登录后就可以看到了：
7.2 代码架构图
在这里新增了一个队列 delayed.queue，一个自定义交换机 delayed.exchange，绑定关系如下：
7.3 配置文件类代码
在我们自定义的交换机中，这是一种新的交换机类型，该类型消息支持延迟投递机制，消息传递后并不会立即投递到目标队列中，而是存储在 mnesia（一个分布式数据系统）表中，当达到投递时间时，才投递到目标队列中。
@Configuration
public class DelayedQueueConfig {
public static final String DELAYED_QUEUE_NAME = "delayed.queue";
public static final String DELAYED_EXCHANGE_NAME = "delayed.exchange";
public static final String DELAYED_ROUTING_KEY = "delayed.routingKey";
@Bean("delayedQueue")
public Queue delayedQueue(){
return new Queue(DELAYED_QUEUE_NAME);
}
/**
* 自定义交换机 定义一个延迟交换机
* 不需要死信交换机和死信队列，支持消息延迟投递，消息投递之后没有到达投递时间，是不会投递给队列
* 而是存储在一个分布式表，当投递时间到达，才会投递到目标队列
* @return
*/
@Bean("delayedExchange")
public CustomExchange delayedExchange(){
Map<String, Object> args = new HashMap<>(1);
// 自定义交换机的类型
args.put("x-delayed-type", "direct");
return new CustomExchange(DELAYED_EXCHANGE_NAME, "x-delayed-message", true, false, args);
}
@Bean
public Binding bindingDelayedQueue(@Qualifier("delayedQueue") Queue delayedQueue,
@Qualifier("delayedExchange") CustomExchange delayedExchange){
return BindingBuilder.bind(delayedQueue).to(delayedExchange).with(DELAYED_ROUTING_KEY).noargs();
}
}
7.4 消息生产者代码
@Slf4j
@RestController
@RequestMapping("/ttl")
public class SendMsgController {
@Autowired
private RabbitTemplate rabbitTemplate;
public static final String DELAYED_EXCHANGE_NAME = "delayed.exchange";
public static final String DELAYED_ROUTING_KEY = "delayed.routingKey";
@GetMapping("/sendDelayMsg/{message}/{delayTime}")
public String sendMsg(@PathVariable String message, @PathVariable Integer delayTime){
rabbitTemplate.convertAndSend(DELAYED_EXCHANGE_NAME, DELAYED_ROUTING_KEY, message, messagePostProcessor ->{
messagePostProcessor.getMessageProperties().setDelay(delayTime);
return messagePostProcessor;
});
log.info("当前时间：{}，发送一条延迟{}毫秒的信息给队列delay.queue:{}", new Date(), delayTime, message);
return "发送成功";
}
}
7.5 消息消费者代码
@Slf4j
@Component
public class DeadLetterConsumer {
public static final String DELAYED_QUEUE_NAME = "delayed.queue";
@RabbitListener(queues = DELAYED_QUEUE_NAME)
public void receiveDelayedQueue(Message message){
String msg = new String(message.getBody());
log.info("当前时间：{}，收到延时队列的消息：{}", new Date(), msg);
}
}
发起请求：
http://localhost:8080/ttl/sendDelayMsg/come on baby1/20000
http://localhost:8080/ttl/sendDelayMsg/come on baby2/2000
第二条消息被先消费掉了，符合预期
八、总结
延时队列在需要延时处理的场景下非常有用，使用 RabbitMQ 来实现延时队列可以很好地利用 RabbitMQ 的特性，如：消息可靠发送、消息可靠投递、死信队列，来保证消息至少被消费一次以及未被正确处理的消息不会被丢弃。另外，通过 RabbitMQ 集群的特性，可以很好要的解决单点故障问题，不会因为单个节点挂掉导致延时队列不可用或者消息丢失。