几种mq实现延迟队列的方式

文章目录

  • rocket mq:延时消息
  • rabbit mq:死信队列
  • kafka
    • 方案:多级分区
    • 举例
    • 优点

rocket mq:延时消息

几种mq实现延迟队列的方式_第1张图片

rabbit mq:死信队列

几种mq实现延迟队列的方式_第2张图片
消息设定一段时间未消费就进入死信队列,然后消费者监听死信交换机。

kafka

kafka自身没有延时消息的机制,只能手动实现

方案:多级分区

参考RocketMQ支持延迟消息设计,不支持任意时间精度的延迟消息,只支持特定级别的延迟消息,将消息延迟等级分为1s、5s、10s 、30s、1m、2m、3m、4m、5m、6m、7m、8m、9m、10m、20m、30m、1h、2h,共18个级别,只创建一个有18个分区的延时topic,每个分区对应不同延时等级。
几种mq实现延迟队列的方式_第3张图片

举例

当发送延迟5秒消息时,将消息发送到order-topic.delay的第二个分区;
当发送延迟1分钟消息时,将消息发送到order-topic.delay的第五个分区;
当发送延迟1小时消息时,将消息发送到order-topic.delay的第17个分区;

优点

保证了每个分区中的消息都是时间顺序的,只需要顺序消费每个分区,将已经达到发送时间的消息转发到真实topic即可;
如果消息未到达发送时间,则不需要提交offset,因为相同分区上的offset之后的消息也必定是未到发送时间的。
在实现上,为每个进程启动一个KafkaConsumer,使用正则表达式订阅以’.delay’结尾的topic,以此减少线程资源的消耗。在将消息发送到延迟topic时,将延迟等级作为消息key,而将原消息key存储在消息头,等发送到实际topic时再从延迟消息的消息头获取real key以及real topic。

你可能感兴趣的:(kafka,kafka,大数据)