RocketMQ 初步了解

RocketMQ 初步了解

前言:

​  近期,因公司使用 RocketMQ 作为消息队列中间件,特此了解。
 RocketMQ 是阿里巴巴在 2012 年开发的分布式消息中间件,专为万亿级超大规模的消息处理而设计,具有高吞吐量、低延迟、海量堆积、顺序收发等特点。



1、基本组成

RocketMQ 初步了解_第1张图片

  • 主题(Topic)
    • 消息传输和存储的顶层容器(逻辑概念)
    • 含一个或多个队列
  • 队列(MessageQueue)
    • 消息存储和传输的实际容器’
  • 消息(Message)
    • 类型:
      • Normal:普通消息
      • FIFO:顺序消息
      • Delay:定时/延时消息
      • Transaction:事务消息
  • 生产者(Producer)
    • 构建并传输消息到服务端的运行实体
    • 传输行为:
      • 发送方式(同步传输/异步传输)
      • 批量发送
      • 事务行为
  • 消费者(Consumer)
    • 接收并处理消息的运行实体
    • 传输行为:
      • 消费者身份:消费者必须关联一个指定的消费者分组
      • 消费者类型:
        • 消费者身份:消费者必须关联一个指定的消费者分组
        • 消费者类型:
          • PushConsumer
          • SimpleConsumer
          • PullConsumer
        • 消费者本地运行配置
          • 消费者根据不同的消费者类型,控制消费者客户端本地的运行配置
  • 消费者分组(ConsumerGroup)
    • 承载多个消费行为一致的消费者的负载均衡分组(逻辑概念)
    • 消费行为:
      • 订阅关系
      • 投递顺序性
      • 消费重试策略
  • 订阅关系(Subscription)
    • 消费者获取消息、处理消息的规则和状态配置
      • 消费过滤规则:过滤消费者需要的消息集合
      • 消费状态:消费者分组在服务端注册订阅关系后,当消费者离线并再次上线后,可以获取离线前的消费进度并继续消费


2、功能特性

2.1、消息发送重试和流控机制

2.1.1、消息重发

触发条件:

  1. 客户端消息发送请求调用失败或请求超时;
  2. 网络异常造成连接失败或请求超时;
  3. 服务端节点处于重启或下线等状态造成连接失败;
  4. 服务端运行慢造成请求超时;
  5. 服务端返回失败错误码。
    1. 系统逻辑错误:因运行逻辑不正确造成的错误;
    2. 系统流控错误:因容量超限造成的流控错误。

2.1.2、流控机制

​  流控机制:指当系统容量或水位过高,MQ 服务端会通过快速失败返回流控错误来避免底层资源承受过高压力

触发条件:

  1. 存储压力大;
  2. 服务端请求任务排队溢出。

2.2、消息过滤

​  消息过滤:指将符合条件的消息投递给消费者,而不是将匹配到的消息过滤掉。


注:

  1. 消费者订阅了某个主题后,MQ 会将该主题中的所有消息投递给消费者。
  2. 消息过滤功能通过生产者和消费者对消息的属性、标签进行定义。

分类:

  • Tag标签过滤
    • 单Tag匹配:过滤表达式为目标Tag,表示只有消息标签为指定目标Tag的消息符合匹配条件,才会被发送给消费者。
    • 多Tag匹配:多个Tag之间为或的关系,(不同Tag间使用 || 隔开,如,Tag1||Tag2||Tag3),表示标签Tag1或Tag2或Tag3的消息都满足匹配条件,都会被发送给消费者进行消费。
    • 全部匹配:使用星号(*)作为全匹配表达式,表示主题下的所有消息都将被发送给消费者进行消费。
  • SQL属性过滤(SQL92语法)
对比项 Tag标签过滤 SQL属性过滤
过滤目标 消息的Tag标签 消息的属性,包括自定义属性以及系统属性(Tag是一种系统属性)
过滤能力 精准匹配 SQL语法匹配
适用场景 简单过滤场景、计算逻辑简单轻量 复杂过滤场景、计算逻辑较复杂

2.3、负载均衡

​  负载均衡:MQ 通过消费者负载均衡策略,将主题内的消息分配给指定消费者分组中的多个消费者共同分担,进而提高消费并发能力和消费者的水平扩展能力。

模式:

  • 消息粒度负载均衡(PushConsumer、SimpleConsumer 默认使用)
    • 消息随机分配;
    • 基于内部的单条消息确认语义实现(消息被消费时加锁)。

RocketMQ 初步了解_第2张图片

  • 队列粒度负载均衡(PullConsumer 默认使用)
    • 一个消费者对应一个队列

RocketMQ 初步了解_第3张图片


2.4、消费进度管理

​  消费进度管理:定义消费者客户端启动后从哪里开始消费,如何标记已消费的消息。

术语:

  • 消息位点(Offset,0 ~ Long.Max):消息在队列中的坐标位置。
  • 最小消息位点(MinOffset):队列中最早一条消息的位点。
  • 最大消息位点(MaxOffset):队列中最新一条消息的位点。
  • 消费位点(ConsumerOffset):消费者消费过的最新一条消息的位点。
  • 消费位点初始值:消费者首次获取消息时,该时刻队列中的最大消息位点。
  • 重置消费位点(功能)
    • 重置到队列中的指定位点;
    • 重置到某一时刻对应的消费位点,匹配位点时,服务端会根据自动匹配到该时刻最接近的消费位点。

RocketMQ 初步了解_第4张图片


2.5、消息存储和清理机制

  • 消息存储

    • 管理粒度:按存储节点管理消息的存储时长。
    • 判断依据:以存储时间为判断依据。
    • 消息存储与消息是否被消费的状态无关。
  • 消息过期清理机制

    • 消息保存时长并不能完整控制消息的实际保存时间,因为消息存储仍然使用本地磁盘,本地磁盘空间不足时,为保证服务稳定性消息仍然会被强制清理,导致消息的实际保存时长小于设置的保存时长


以上内容总结于 RocketMQ 官方文档

RocketMQ 官方文档链接 https://rocketmq.apache.org/zh/docs/

你可能感兴趣的:(中间件,rocketmq,java,分布式,中间件)