RocketMq

RocketMq是什么

Apache RocketMQ是阿里开源的一款高性能、高吞吐量的分布式消息中间件。在github上的介绍,rocketmq支持以下功能
RocketMq_第1张图片

Rocketmq架构

以下图片来源:http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/
rocketmq物理架构
RocketMq_第2张图片
RocketMq_第3张图片

rocketmq逻辑架构
RocketMq_第4张图片

Producer Group

用来表示一个发送消息应用,一个Producer Group下包含多个Producer实例,可以是多台机器,也可以是一台机器的多个进程,或者一个进程的多个Producer对象。一个Producer Group可以发送多个Topic消息,Producer Group作用如下:

  1. 标识一类Producer
  2. 可以通过运维工具查询这个发送消息应用下有多个Producer实例
  3. 发送分布式事务消息时,如果Producer中途意外宕机,Broker会主动回调Producer Group内的任意一台机器来确认事务状态。

消息发送方式

同步,异步
单向

Consumer Group

用来表示一个消费消息应用,一个Consumer Group下包含多个Consumer实例,可以是多台机器,也可以是多个进程,或者是一个进程的多个Consumer对象。一个Consumer Group下的多个Consumer以均摊方式消费消息,如果设置为广播方式,那么这个Consumer Group下的每个实例都消费全量数据。

消息消费方式

集群消费,消费进度是存储在 broker 上
广播消费,消费进度是存储在各个 consumer 实例上,不进行消息失败重投

消息

RocketMq支持普通消息,有序消息和延时消息。

普通消息

普通消息即无序消息,因为无须保证顺序,生产者和消费者都只管生产和消费,不需要保证消息的顺序,所以消息可以大规模并发地发送和消费,吞吐量很高,适合大部分场景。

有序消息

有序消息就是发送和消费必须保证顺序的消息。
有序消息可以分成全局有序和局部有序。如何实现呢?
topic 只是消息的逻辑分类,内部实现其实是由 queue 组成。当 producer 把消息发送到某个 topic 时,默认是会消息发送到具体的 queue 上。
什么时候我们需要有序消息呢?
订单

延时消息

延时消息可以通过DelayTimeLevel来设置,消息延时分为如下等级
延时等级为:1s,5s,10s,30s,1m,2m,3m,4m,5m,6m,7m,8m,9m,10m,20m,30m,1h,2h。level=0,表示不延时。level=1,表示 1 级延时,对应延时 1s。level=2 表示 2 级延时,对应5s,以此类推。
什么时候我们需要延时消息呢?
关闭订单

消息过滤

通过tag

持久化

RocketMQ没有内存Buffer概念,RocketMQ的队列都是持久化磁盘,数据定期清除。 RocketMQ的消息持久化是基于文件系统,而从效率来看文件系统>kv存储>关系型数据库。
RocketMQ的数据存储

消息重试

默认每条消息最多重试 16 次,且每次重试时间间隔都不一样。如果消息重试 16 次之后还是消费失败怎么办呢?那么消息就不会再投递给消费者,而是将消息放到相对应的死信队列中。
Producer端重试 RetryTimesWhenSendFailed
Consumer端重试

你可能感兴趣的:(数据库)