Redis 定长队列,实现消息分组、按批次消费

文章目录

  • 核心内容
    • 业务背景
    • 需求
    • 方案设计
      • 方案1 内存队列
      • 方案2 Kafka、RocketMQ等
      • 方案3 Redis 定长队列
  • 代码设计
    • 分组、队列设计
    • 生产者
    • 消费者
  • 技术文章
  • 参考文章

核心内容

业务背景

Redis 定长队列,实现消息分组、按批次消费_第1张图片

需求

1 生产者收集数据,消费者按批次上报数据
2 有分组、按批次消费、时效性要求

方案设计

方案1 内存队列

不满足跨进程消费的要求。

PASS。

方案2 Kafka、RocketMQ等

满足分组消费。但是,
1 消费者端,对Producer已生成但Consumer未接收的消息数目未知、对消息到达不可控,是被动消费,故不满足时效性、按批次消费
2 未满足按批数量的情况下,需要本地额外缓存已到达的消息,不如直接用Redis。

PASS。

方案3 Redis 定长队列

一个消息分组对应一个队列
生产者
生产消息进队列

消费者
遍历所有队列,如果某个队列的消息数目满足要求,取出消费,上报该批次消息

满足分组、批次消费、时效性。

代码设计

分组、队列设计

生产者

消费者

技术文章

参考文章

Redis 定长队列的探索和实践

你可能感兴趣的:(技术实践收集,Redis,redis,分布式,队列)