PHP基于Redis实现轻量级延迟队列

延迟队列，顾名思义它是一种带有延迟功能的消息队列。 那么，是在什么场景下我才需要这样的队列呢？

一、背景

先看看一下业务场景：

• 1.会员过期前3天发送召回通知
• 2.订单支付成功后，5分钟后检测下游环节是否都正常，比如用户购买会员后，各种会员状态是否都设置成功
• 3.如何定期检查处于退款状态的订单是否已经退款成功？
• 4.实现通知失败，1，3，5，7分钟重复通知，直到对方回复？

通常解决以上问题，最简单直接的办法就是定时去扫表。

扫表存在的问题是：

• 1.扫表与数据库长时间连接，在数量量大的情况容易出现连接异常中断，需要更多的异常处理，对程序健壮性要求高
• 2.在数据量大的情况下延时较高，规定内处理不完，影响业务，虽然可以启动多个进程来处理，这样会带来额外的维护成本，不能从根本上解决。
• 3.每个业务都要维护一个自己的扫表逻辑。 当业务越来越多时，发现扫表部分的逻辑会重复开发，但是非常类似

延时队列能对于上述需求能很好的解决

二、调研

调研了市场上一些开源的方案，以下：

• 1.有赞科技：只有原理，没有开源代码
• 2.github个人的：https://github.com/ouqiang/delay-queue
  1.基于redis实现，redis只能配置一个,如果redis挂了整个服务不可用，可用性差点
  2.消费端实现的是拉模式，接入成本大，每个项目都得去实现一遍接入代码
  3.在star使用的人数不多，放在生产环境，存在风险，加之对go语言不了解，出了问题难以维护
• 3.SchedulerX-阿里开源的： 功能很强大，但是运维复杂，依赖组件多，不够轻量
• 4.RabbitMQ-延时任务: 本身没有延时功能，需要借助一特性自己实现，而且公司没有部署这个队列，去单独部署一个这个来做延时队列成本有点高，而且还需要专门的运维来维护，目前团队不支持

基本以上原因打算自己写一个，平常使用php多，项目基本redis的zset结构作为存储，用php语言实现 ，实现原理参考了有赞团队：https://tech.youzan.com/queuing_delay/

整个延迟队列主要由4个部分

• • JobPool用来存放所有Job的元信息。
  • DelayBucket是一组以时间为维度的有序队列，用来存放所有需要延迟的Job（这里只存放Job Id）。
  • Timer负责实时扫描各个Bucket，并将delay时间大于等于当前时间的Job放入到对应的Ready Queue。
  • ReadyQueue存放处于Ready状态的Job（这里只存放JobId），以供消费程序消费。