分布式分布订阅消息系统

image.png

几千行 C 代码实现了的一个优先级/延时队列，短小精悍
概念
tube - 消息通道，类似于 kafka 里面的 topic, 用来存储某一类或者业务的任务
job - 生产和消费的基本单元，每个 job 都会有一个 id 和 优先级
特点
1、协议，类 Memcached 协议, 非二进制安全
2、全内存, 可开启 binlog, 断电从 binlog 恢复数据
3、单线程, 使用 epoll/kqueue 来实现事件机制

基于golang和beanstalk封装的分布式发布订阅消息系统
主要工作
1、producer消息路由
2、维护client与topic的订阅关系
3、dispatcher并发投递消息给多个相关订阅者，从而支持1对N的关系
delivery guarantee：At least one（消息绝不会丢，但可能会重复）

问题
1、存在单点，没有replication机制（会引入复杂性）
2、无探活，failover机制
3、订阅关系存储在文件中
使用beanstalk调度系统