RocketMQ源码系列

RocketMQ源码 Producer生产者源码架构分析

前言消息生产者MQproducer即消息的生产发送方，主要负责将生产方产生的消息投递到Broker节点。它主要的源码实现架构如下图，继承了MQAdmin管理组件接口，内部又依赖了DefaultMQProducerImpl内部实现类实现所有内部逻辑，DefaultMQProducerImpl实现了创建topic、获取消息队列偏移量、查看消息、发送消息、故障容错、事务消息、顺序消息等能力，最底层通过N
虚空小白·2024-01-06 08:10

RocketMQ源码 发送消息源码分析

前言DefaultMQProducer是默认生产者组件，是生产者客户端中，绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。其中，包含发送各种形式（同步、异步、事务、顺序）的消息，针对发送消息部分的实现，主要是封装好消息协议后，从NameSrv获取当前Topic路由信息，轮询悬着一个队列，通过RemotingClient客户端，将请求发送给messageQueue所在的bro
虚空小白·2024-01-06 08:37

知识点总结——总体概览图

知识点总结数据结构和算法篇动画算法JAVAJava基础JVMJava多线程Java集合框架框架篇springmybatis消息队列kafkarocketmq数据存储篇redismysql系统设计，项目经验
谷禾水·2024-01-06 04:58

Springboot整合RocketMQ 基本消息处理

目录1.同步消息2.异步消息3.单向消息4.延迟消息5.批量消息6.顺序消息7.Tag过滤导入依赖org.apache.rocketmqrocketmq-spring-boot-starterYAML配置
山河亦问安·2024-01-05 20:36

spring-cloud-stream 整合 rocketmq/kafka

前言阿里推出spring-cloud-alibaba，实现了cloud-stream和rocketmq的整合。整合过程中出现的一些坑在这里分享一下。
六月寒战队·2024-01-05 18:22

RocketMQ初探-2不同消息种类的使用

RocketMQ初探-2不同消息种类的使用目录RocketMQ初探-2不同消息种类的使用消息分类基本样例顺序消息广播消息延迟消息批量消息过滤消息事务消息关于消费者ConsumeFromWhere属性的理解消息分类基本样例顺序消息广播消息延迟消息批量消息过滤消息事务消息基本样例消息生产者消息消费者顺序消息背景
卟啉亮的小博客·2024-01-05 15:00

K8S Prometheus-rocketmq-exporter配置

下载rocketmq-exporter通过Docker仓库下载dockerpullsawyerlan/rocketmq-exporter:latest然后打标签，推送到自己的仓库也可通过代码自己build
crabdave123·2024-01-05 10:11

rocketMq broker主从复制(HA策略)

rocketmq为了保证高可用，可以为一个masterbroker添加一个或多个slavebroker，这样就可以在一个broker宕机后，不至于影响分布式消息队列的工作。
圣村的希望·2024-01-05 08:40

springboot项目中使用kafka实现消息通信

一.使用背景现在很多公司的业务都是使用分布式系统,使用分布式系统就面临着不同系统间的消息传递,现在市面上比较流行的消息中间件有,ActiveMQ,RabbitMQ,RocketMQ,kafka等等，下面就来讲解一些
Mraiwoluo·2024-01-04 21:31

RocketMQ5.0顺序消息设计实现

前言顺序消息是RocketMQ提供的一种高级消息类型，支持消费者按照发送消息的先后顺序获取消息，从而实现业务场景中的顺序处理。
程序员小潘·2024-01-04 19:19

RocketMQ-详解消费者消费失败后重新消费原理

本文基于RocketMQ4.7.1版本前面两篇文章介绍了DefaultMQPushConsumer和DefaultMQPullConsumer消费消息的原理，由此我们知道了DefaultMQPushConsumer
龚厂长·2024-01-04 16:14

apache rocketmq详解（二）实战之客户端代码实现

一、Apacherocketmq简介ApacheRocketMQ（RocketMessageQueue）是一款开源的分布式消息中间件系统，属于Apache软件基金会的顶级项目之一。
良心 架构师·2024-01-04 16:39

基于电商场景的高并发RocketMQ实战-发送优惠券流程解析、生产环境的落库与定时推送解决方案

欢迎关注公众号（通过文章导读关注），发送【资料】可领取深入理解Redis系列文章结合电商场景讲解Redis使用场景、中间件系列笔记和编程高频电子书！【11来了】文章导读地址：点击查看文章导读！发送优惠券流程【落库+定时推送生产环境解决方案】首先，还是先了解业务逻辑的背景，对于系统中不活跃的用户，需要通过给这些用户发送优惠券来激活这些用户的消费，那么在给这些用户发送优惠券的时候，可能并不想立即就发送
11来了·2024-01-04 11:30

Spring boot封装rocket mq 教程

1、rocketmq版本5.1.32、pom引入rocketmq依赖org.apache.rocketmqrocketmq-client-java5.0.43、发送MQ消息工具类importlombok.SneakyThrows
weixin_42502300·2024-01-04 06:22

消息队列核心-消息模型

目前消息队列有很多种，如kafaka、rocketMq、rabbitMq，所有消息队列的模型都比较类似，基本都包括像队列（Queue）、主题（Topic）或是分区（Partition）等概念。
ajajaj·2024-01-04 06:21

源码系列篇之CardView

周五的节奏真的心情爽啊，看看书啊，看看源码啊，时间都这样毫不经意间过去了，爽啦啦！题外话就不说那么多了啊。下面进入正题，带你分析CardView这种带阴影、圆角的View是怎么一步步的实现的。来看看CardView构造器吧:publicCardView(Contextcontext){super(context);initialize(context,null,0);}publicCardView
的一幕·2024-01-04 04:28

k8s部署rocketmq单节点（server+broker+console）—— 筑梦之路

之前写过几篇关于rocketmq构建双架构镜像、docker-compose部署的文章，接上篇docker-compose部署rocketmq，这里记录下k8s下如何部署。
筑梦之路·2024-01-04 03:11

58分布式消息队列WMB设计与实践

现常见的开源消息队列有Kafka、RocketMQ、RabbitMQ等，都有着不同的使用场景和特点。RabbitMQ采用erlang语言开发，具有较高的可靠性，但是性能较差；kafka突出
爱情小傻蛋·2024-01-04 02:59

【RocketMQ每日一问】RocketMQ5.0POP消费模式如何实现的?

1什么是Pop消费RocketMQ5.0中引入了一种新的消费模式：Pop消费模式。
jianjun_fei·2024-01-04 01:59

【RocketMQ每日一问】RocketMQ延迟消息是怎么实现的?

生产者发送消息时带上延迟级别。Broker接收消息并根据延迟级别存储在特定的延迟队列中。（SCHEDULE_TOPIC_XXXX）定时任务（时间轮里的任务）定期扫描延迟队列，将到期的消息转移到正常的消费队列。消费者从正常的消费队列中获取并消费消息。
jianjun_fei·2024-01-04 01:29

【RocketMQ每日一问】RocketMQ SQL92过滤用法以及原理?

1.生产端publicclassSQLProducer{publicstaticintcount=10;publicstaticStringtopic="xiao-zou-topic";publicstaticvoidmain(String[]args){DefaultMQProducerproducer=MQUtils.createLocalProducer();IntStream.range(
jianjun_fei·2024-01-04 01:26

RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件源码分析

前言BrokerFastFailure快速失败处理组件，主要负责，在系统激活broker快速失败能力时，以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理：消息存储组件中的请求。如果消息存储组件中的OSPageCacheBusy（系统页缓存繁忙）为true，则对它的请求循环进行快速失败处理。清理发送线程池队列中的过期请求。清理拉取线程池队列中的过期请求。清理心跳线程池队列中的过期请
虚空小白·2024-01-03 20:52

RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件源码分析

前言ConsumerFilterManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责，对在消费者拉取消息时，进行消息数据过滤，且只针对使用表达式过滤的消费者有效。源码版本：4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白·2024-01-03 20:51

RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件源码分析

前言SubscriptionGroupManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本：4.9.3源码架构图核心数据结构主要的数据结构比较简单，维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件源码分析

前言FilterServerManager负责维护过滤服务器长连接与过滤服务器信息映射关系，并且内部有定时调度线程，不断检查过滤服务器实际数量和配置数量是否一致，如果不一致，就根据配置构建命令行命令，执行命令启动FilterServer过滤服务器进程。过滤服务器实例，是RockerMQ的高级功能，复制支持更复杂的过滤条件。源码版本：4.9.3源码架构图核心数据结构//过滤服务器管理组件public
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-BrokerStatsManager Broker统计管理组件源码分析

前言BrokerStatsManager主要负责对broker端的系统指标进行统计，如QUEUE_GET_NUMS队列获取数量、QUEUE_GET_SIZE队列获取大小指标的分钟、小时、天级别的统计数据。它针对的所有指标都是使用后台定时调度线程，对统计条目中的数据进行后台统计计算，存储在统计条目中的对应集合里，以便使用。源码版本：4.9.3源码架构图核心数据结构最核心的是维护了一个数据统计tabl
虚空小白·2024-01-03 20:21

RocketMQ源码 NameServer启动流程源码分析

前言RocketMQ在启动Namesrv的过程中会创建NamesrvController控制器，并初始化一些核心组件RouteInfoManager路由信息管理组件、NettyRemotingServer
虚空小白·2024-01-03 20:21

RocketMQ源码 创建Topic流程源码分析

前言MQAdminImplMQ管理组件提供了大量对mq进行管理的工具，其中一个就是创建Topic。它内部实现是通过mqClient工具从NameServer拉取当前Topic对应的路由元数据信息，解析遍历和当前topic有关的broker高可用分组集合，找到分组中的master主节点，然后依次对broker主节点发送创建topic请求。broker高可用分组的主节点收到请求后，将topic元数据存
虚空小白·2024-01-03 20:47

RocketMQ5.0延时消息时间轮算法

前言RocketMQ相较于其它消息队列产品的一个特性是支持延时消息，也就是说消息发送到Broker不会立马投递给消费者，要等待一个指定的延迟时间再投递，适用场景例如：下单后多长时间没付款系统自动关闭订单
程序员小潘·2024-01-03 19:40

RockerMQ的事务消息发送

RocketMQ的事务消息发送根据样例来看，发送事务消息采用了以下流程1.TransactionListener给事务打标记2.TransactionProducer.sendMessageInTransaction
peipei巴比·2024-01-03 17:36

centos7上的rocketmq安装

一、rocketmq安装详情可以查看rocketmq的官方网站:rocketmqofficalsite1.下载rocketmq的二进制包版本我们这里使用的是4.3.2下载链接：下载链接2.为rocketmq
大风过岗·2024-01-03 10:57

SpringBoot3集成RocketMQ

引入依赖：org.apache.rocketmqrocketmq-spring-boot-starter${rocketmq-spring-boot-starter.version}编辑配置文件，NameServer
数据驱动生活·2024-01-03 10:40

RocketMQ消息丢失问题

同步消息要同步刷盘才完成一次消息发送，一般不会消息丢失，但会增加一定的延迟。异步消息异步刷盘，先将消息存于缓冲区，达到一定大小才进行刷盘，存在消息丢失风险。实际开发中一般使用异步消息，为防止消息丢失通常自己对消息进行持久化：日志记录在文件或记录数据库等。生产者发送消息后将消息记录在MySQL并添加状态，消费者处理完消息后更新MySQL中消息的状态，最后通过定时任务将设定时长内未消费的消息进行补发避
数据驱动生活·2024-01-03 10:40

spring cloud alibaba 组件版本关系 以及 毕业版本依赖关系

版本及其自身所适配的各组件对应版本（经过验证，自行搭配各组件版本不保证可用）如下表所示（最新版本用*标记）：SpringCloudAlibabaVersionSentinelVersionNacosVersionRocketMQVersionDubboVersionSeataVersion2.2.7
IT祖师爷·2024-01-02 21:41

基于电商场景的高并发RocketMQ实战-促销活动推送千万级用户解决方案【多线程+分片推送实现高性能推送】

欢迎关注公众号（通过文章导读关注），发送【资料】可领取深入理解Redis系列文章结合电商场景讲解Redis使用场景、中间件系列笔记和编程高频电子书！【11来了】文章导读地址：点击查看文章导读！首先介绍一下发布促销活动的整体业务流程：运维人员操作页面发布促销活动判断促销活动是否和以往活动发布重复先将促销活动落库发布【促销活动创建】事件消费者监听到【促销活动创建】事件，开始对所有用户推送促销活动由于用
11来了·2024-01-02 17:38

react源码系列(1) — 创建元素组件

文章目录Babel处理JSXcreateElement类元素方法元素内置元素Suspense与lazymemo其他的symbol元素Children处理react源码版本为v16.13.1，可以下载下来结合者一起看，本节涉及到packages/react中的代码。文章的源在：https://www.yuque.com/wmaoshu/blog/gcg1ixreact一个很重要的设计原则是根据业务维
茂树24·2024-01-02 07:35

【深入浅出RocketMQ原理及实战】「云原生升级系列」打造新一代云原生“消息、事件、流“统一消息引擎的融合处理平台

打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台云原生架构RocketMQ的云原生架构实现RocketMQ的云原生发展历程互联网时期的诞生无法支持云原生的能力云原生阶段的升级云原生升级方向促进了
洛神灬殇·2024-01-02 07:58

基于电商场景的高并发RocketMQ实战-初版营销系统设计方案、千万级用户分片+批量推送方案、惰性发券

欢迎关注公众号（通过文章导读关注），发送笔记可领取Redis、JVM等系列完整pdf！【11来了】文章导读地址：点击查看文章导读！初版营销系统设计方案对营销系统，主要有以下几个任务：搞促销活动，对全员用户/部分用户进行推送发优惠券，给全员用户/部分用户发券给所有用户每天推送热门商品，吸引用户首先，营销系统初版的一个功能流程如下图：营销系统中的几个任务的共性：需要对大量的用户数据进行一个任务处理，而
11来了·2024-01-02 01:09

docker-compose一键部署rocketmq

案例版本4.8.0gitclonehttps://github.com/foxiswho/docker-rocketmq.gitcddocker-rocketmqcdrmqchmod+xstart.sh
XYLANCC·2024-01-02 01:21

论最强IO：MappedByteBuffer VS FileChannel

最近一直在研究MQ，开源社区中有很多高性能MQ：kafka、RocketMQ、ActiveMQ，抛开网络传输方式、数据结构设计、文件存储方式...等因素。
布道·2024-01-01 18:59

KAFKA、RABBITMQ、ROCKETMQ等消息中间件的介绍和对比

现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。
公号：java高级架构师·2024-01-01 10:18

Kafka、RabbitMQ、RocketMQ等 消息中间件 介绍和对比

3.1、Kafka3.2、RabbitMQ3.3、RocketMQ4、测试4.1、测试目的4.2、测试场景4.2.1、Kafka4.2.2、RocketMQ4.2.3、RabbitMQ4.3、测试结论5
weixin_30559481·2024-01-01 10:17

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比 侵删

现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。
心神沫沫·2024-01-01 10:47

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比

现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。
lxw1844912514·2024-01-01 10:14

Megatron-LM源码系列(五)： FP16使用

1.FP16参数指定训练模型要使用fp16时，训练启动参数中指定--fp16,对应megatron/arguments.py中的定义如下：group.add_argument('--fp16',action='store_true',help='Runmodelinfp16mode.')在计算lm-cross-entropy时默认是使用fp32来计算的，在开启--fp16选项的前提下可以通过指定-
MLTalks·2024-01-01 10:24

Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1

1.使用说明在megatron中指定--use-distributed-optimizer就能开启分布式优化器,参数定义在megatron/arguments.py中。分布式优化器的思路是将训练中的优化器状态均匀地分布到不同数据并行的rank结点上，相当于开启ZERO-1的训练。group.add_argument('--use-distributed-optimizer',action='sto
MLTalks·2024-01-01 10:24

RocketMQ如何保证消息被有序消费

RocketMQ如何保证消息被有序消费消费者端如何接收有序消息队列消费的两种模式并发消费模式当同一类消息被送入不同队列，且这些消息在处理上并不需要按时序消费时，可以考虑使用并发消费模式。
帅喵·2024-01-01 09:43

RocketMQ（Linux版本5.1.4）

1、停止之前的运行服务[root@tssvr1-c1rocketmq-all-4.7.0-bin-release]#shbin/mqshutdownnamesrvNomqnamesrvrunning.
晚霞山空静·2024-01-01 07:58

LLM源码系列-Baichuan2模型代码解读

本文是对百川大模型的代码解析，有助于了解其内部模型结构，以及训练和推理的一些细节。主要是对modeling_baichuan.py这个文件进行分析，以下是核心的几个类的关系核心的模型结构在BaichuanModel中，是多个MHA多头Attention模块堆叠起来的Decoder架构，下面是BaichuanModel的代码解析classBaichuanModel(BaichuanPreTraine
田小成plus·2023-12-31 23:59

深度剖析 Kafka/RocketMQ 顺序消息的一些坑

我们都知道无论是Kafka还是RocketMQ，每个主题下面都有若干分区（RocketMQ叫队列），如果消息被分配到
fumi106·2023-12-31 19:14
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他