RocketMQ集群架构

源码解析：Apache RocketMQ重置消费位点

引入resetoffset，即重置消费进度，一般在以下场景中使用：需要重新消费已经消费过的消息，重置到最早位置或根据时间进行重置。消息积压，不需要消费积压的消息，重置到最新位置，使其从最新位置开始消费。重置到最早、或者根据时间进行重置与消息补发的区别？●消息补发是将原先的消息由生产者重发一次，与区别的那边消息本质上不是同一条消息（除了消息体一样以外）。●重置操作是操作消费位点（offset），本质
serendipitabition·2024-01-07 08:25

【源码解析】Apache RocketMQ发送消息源码

sendmessage源码解析引入sendmessage方法作为我们经常使用的方法，平时我们很难去关注他底层到底做了什么。大部分人只知道通过sendmessage方法可以将消息发送到broker，然后供消费者进行消费。其实不然，消息从客户端发送到broker，需要中间需要经过很多步骤，比如：首先客户端需要向nameserver拿路由，拿到路由后才能将消息发送到对应的broker。消息到了broke
serendipitabition·2024-01-07 08:52

深度解析：Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别与比较

目录引言1.Kafka1.1架构设计1.2特点与优势2.ActiveMQ2.1架构设计2.2特点与优势3.RabbitMQ3.1架构设计3.2特点与优势4.RocketMQ4.1架构设计4.2特点与优势
喔的 喔的嘛呀·2024-01-07 05:16

RocketMQ详细介绍及核心问题解释（很全）

1.RocketMq是什么一个纯Java、分布式队列模型的消息中间件，具有高可用、高可靠、高实时、低延迟的特点。（记住这句就行了）2.RocketMq有什么功能1、业务解耦：这也是发布订阅的消息模型。
孤蓬&听雨·2024-01-07 05:09

RocketMQ源码分析----Producer队列选择与容错策略

队列选择在HA的文章里大概讲了一下Producer如何为高可用贡献出一份力量的，当时只是说了遍历列表选择队列，然后选择一个，没有深入分析，这篇文章深入分析一下其源码，首先从发送消息选择队列的代码开始：StringlastBrokerName=null==mq?null:mq.getBrokerName();MessageQueuetmpmq=this.selectOneMessageQueue(l
_六道木·2024-01-07 04:44

一本书全面搞懂分布式架构中如何使用RocketMQ的原理和实战案例

另外我的新书RocketMQ消息中间件实战派上下册，在京东已经上架啦，目前都是5折，非常的实惠。
架构随笔录·2024-01-06 22:50

RocketMQ生产部署架构设计，建议收藏

正文梳理知识点，是快速提升技术的关键前面讲过，快速提升自己的技术硬实力其实是有方法的。大致就是梳理知识点+夯实基础+进阶深入学习+实战，下面我会一点点跟大家剖析，本文干货满满，大家仔细阅读。梳理知识后，夯实基础乃是刚需：深入进阶学习（28个主流Java知识点“一网打尽”）1、并发编程Java并发编程是整个Java开发体系中最难以理解，但也是最重要的知识点之一，一旦掌握你一定在市场上供不应求。Jav
imtokenmax合约众筹·2024-01-06 19:36

Redis哨兵模式相关知识

1.简介哨兵是redis集群架构中非常重要的一个组件,哨兵模式基于主从复制模式,当主从复制模式下的master主节点宕机,通过选举一个master继续提供服务;2.功能1>.集群监控:负责监控redismaster
一code当先·2024-01-06 18:48

Redis Cluster高可用(HA)集群环境搭建详细步骤以及SpringBoot连接Redis集群(带密码)

1.为什么要有集群由于Redis主从复制架构每个数据库都要保存整个集群中的所有数据,容易形成木桶效应，所以Redis3.0之后的版本添加特性就是集群(Cluster)2.Redis集群架构说明架构细节:
心多大，路多远·2024-01-06 18:17

Kubernetes（K8S）的基础概念

3、k8s的特性二、k8s集群架构与组件1、Master组件2、配置存储中心——etcd3、WorkerNode组件三、k8s核心概念==●Pod====●Pod控制器(五大控制器)====●Label
Zcien·2024-01-06 16:11

RocketMQ基本概念

基本概念1消息模型（MessageModel）RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker
浅夏哥·2024-01-06 16:52

centos 7.9安装RocketMQ4.6.1版本

1.先下载二进制文件下载|RocketMQ2.下载后，进行解压unziprocketmq-all-4.6.1-bin-release.zip3.修改JVM配置进到/datadrive/rocketmq-all
猿小飞·2024-01-06 15:49

经典八股文之RocketMQ

核心概念NameServernameserver是整个rocketmq的大脑，是rocketmq的注册中心。broker在启动时向所有nameserver注册。
在下uptown·2024-01-06 11:14

服务器CentOs8 安装RocketMQ 4.9.4

前置条件安装好java环境下载、上传、解压下载二进制包传送门上传到服务器，这里上传到了/usr/local目录下解压：unziprocketmq-all-4.9.4-bin-release.zip移动到新的文件夹
豆沙睡不醒·2024-01-06 09:45

RocketMQ源码 Producer生产者源码架构分析

前言消息生产者MQproducer即消息的生产发送方，主要负责将生产方产生的消息投递到Broker节点。它主要的源码实现架构如下图，继承了MQAdmin管理组件接口，内部又依赖了DefaultMQProducerImpl内部实现类实现所有内部逻辑，DefaultMQProducerImpl实现了创建topic、获取消息队列偏移量、查看消息、发送消息、故障容错、事务消息、顺序消息等能力，最底层通过N
虚空小白·2024-01-06 08:10

RocketMQ源码 发送消息源码分析

前言DefaultMQProducer是默认生产者组件，是生产者客户端中，绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。其中，包含发送各种形式（同步、异步、事务、顺序）的消息，针对发送消息部分的实现，主要是封装好消息协议后，从NameSrv获取当前Topic路由信息，轮询悬着一个队列，通过RemotingClient客户端，将请求发送给messageQueue所在的bro
虚空小白·2024-01-06 08:37

知识点总结——总体概览图

知识点总结数据结构和算法篇动画算法JAVAJava基础JVMJava多线程Java集合框架框架篇springmybatis消息队列kafkarocketmq数据存储篇redismysql系统设计，项目经验
谷禾水·2024-01-06 04:58

Redis集群架构解密：打造高性能分布式缓存引擎

目录1、前言2、Redis集群概述3、Redis集群架构的内部原理4、Redis集群的实现方式5、Redis集群的实现方式如何选择6、Redis集群的搭建7、结语1、前言在当今的互联网时代，随着用户数量的不断增长和业务流量的不断增加
凛鼕将至·2024-01-06 03:04

RabbitMQ 集群篇

RabbitMQ集群篇00、集群架构原理前面我们有介绍到RabbitMQ内部有各种基础构件，包括队列、交换器、绑定、虚拟主机等，他们组成了AMQP协议消息通信的基础，而这些构件以元数据的形式存在，它始终记录在
路面烧卖·2024-01-05 21:50

Springboot整合RocketMQ 基本消息处理

目录1.同步消息2.异步消息3.单向消息4.延迟消息5.批量消息6.顺序消息7.Tag过滤导入依赖org.apache.rocketmqrocketmq-spring-boot-starterYAML配置
山河亦问安·2024-01-05 20:36

spring-cloud-stream 整合 rocketmq/kafka

前言阿里推出spring-cloud-alibaba，实现了cloud-stream和rocketmq的整合。整合过程中出现的一些坑在这里分享一下。
六月寒战队·2024-01-05 18:22

分布式集群架构场景化解决⽅案

致性Hash算法第⼆部分：集群时钟同步问题第三部分：分布式ID解决⽅案数据表A（ID），A的数据量很⼤的情况下，我们会进⾏分表操作，A（ID）表拆分成了A1表（ID）+A2表(ID)，需要⼀种在分布式集群架构中能够产
碎月无晴灬·2024-01-05 16:40

RocketMQ初探-2不同消息种类的使用

RocketMQ初探-2不同消息种类的使用目录RocketMQ初探-2不同消息种类的使用消息分类基本样例顺序消息广播消息延迟消息批量消息过滤消息事务消息关于消费者ConsumeFromWhere属性的理解消息分类基本样例顺序消息广播消息延迟消息批量消息过滤消息事务消息基本样例消息生产者消息消费者顺序消息背景
卟啉亮的小博客·2024-01-05 15:00

K8S Prometheus-rocketmq-exporter配置

下载rocketmq-exporter通过Docker仓库下载dockerpullsawyerlan/rocketmq-exporter:latest然后打标签，推送到自己的仓库也可通过代码自己build
crabdave123·2024-01-05 10:11

rocketMq broker主从复制(HA策略)

rocketmq为了保证高可用，可以为一个masterbroker添加一个或多个slavebroker，这样就可以在一个broker宕机后，不至于影响分布式消息队列的工作。
圣村的希望·2024-01-05 08:40

springboot项目中使用kafka实现消息通信

一.使用背景现在很多公司的业务都是使用分布式系统,使用分布式系统就面临着不同系统间的消息传递,现在市面上比较流行的消息中间件有,ActiveMQ,RabbitMQ,RocketMQ,kafka等等，下面就来讲解一些
Mraiwoluo·2024-01-04 21:31

RocketMQ5.0顺序消息设计实现

前言顺序消息是RocketMQ提供的一种高级消息类型，支持消费者按照发送消息的先后顺序获取消息，从而实现业务场景中的顺序处理。
程序员小潘·2024-01-04 19:19

RocketMQ-详解消费者消费失败后重新消费原理

本文基于RocketMQ4.7.1版本前面两篇文章介绍了DefaultMQPushConsumer和DefaultMQPullConsumer消费消息的原理，由此我们知道了DefaultMQPushConsumer
龚厂长·2024-01-04 16:14

apache rocketmq详解（二）实战之客户端代码实现

一、Apacherocketmq简介ApacheRocketMQ（RocketMessageQueue）是一款开源的分布式消息中间件系统，属于Apache软件基金会的顶级项目之一。
良心 架构师·2024-01-04 16:39

LVS 负载均衡详解 + NAT 集群构建

LoadBalanceCluster）(2)高可用集群（HighAvailabilityCluster）(3)高性能运算集群（HighPerformanceComputerCluster）二、负载均衡集群架构
公博义·2024-01-04 14:45

基于电商场景的高并发RocketMQ实战-发送优惠券流程解析、生产环境的落库与定时推送解决方案

欢迎关注公众号（通过文章导读关注），发送【资料】可领取深入理解Redis系列文章结合电商场景讲解Redis使用场景、中间件系列笔记和编程高频电子书！【11来了】文章导读地址：点击查看文章导读！发送优惠券流程【落库+定时推送生产环境解决方案】首先，还是先了解业务逻辑的背景，对于系统中不活跃的用户，需要通过给这些用户发送优惠券来激活这些用户的消费，那么在给这些用户发送优惠券的时候，可能并不想立即就发送
11来了·2024-01-04 11:30

Spring boot封装rocket mq 教程

1、rocketmq版本5.1.32、pom引入rocketmq依赖org.apache.rocketmqrocketmq-client-java5.0.43、发送MQ消息工具类importlombok.SneakyThrows
weixin_42502300·2024-01-04 06:22

消息队列核心-消息模型

目前消息队列有很多种，如kafaka、rocketMq、rabbitMq，所有消息队列的模型都比较类似，基本都包括像队列（Queue）、主题（Topic）或是分区（Partition）等概念。
ajajaj·2024-01-04 06:21

k8s部署rocketmq单节点（server+broker+console）—— 筑梦之路

之前写过几篇关于rocketmq构建双架构镜像、docker-compose部署的文章，接上篇docker-compose部署rocketmq，这里记录下k8s下如何部署。
筑梦之路·2024-01-04 03:11

58分布式消息队列WMB设计与实践

现常见的开源消息队列有Kafka、RocketMQ、RabbitMQ等，都有着不同的使用场景和特点。RabbitMQ采用erlang语言开发，具有较高的可靠性，但是性能较差；kafka突出
爱情小傻蛋·2024-01-04 02:59

【RocketMQ每日一问】RocketMQ5.0POP消费模式如何实现的?

1什么是Pop消费RocketMQ5.0中引入了一种新的消费模式：Pop消费模式。
jianjun_fei·2024-01-04 01:59

【RocketMQ每日一问】RocketMQ延迟消息是怎么实现的?

生产者发送消息时带上延迟级别。Broker接收消息并根据延迟级别存储在特定的延迟队列中。（SCHEDULE_TOPIC_XXXX）定时任务（时间轮里的任务）定期扫描延迟队列，将到期的消息转移到正常的消费队列。消费者从正常的消费队列中获取并消费消息。
jianjun_fei·2024-01-04 01:29

【RocketMQ每日一问】RocketMQ SQL92过滤用法以及原理?

1.生产端publicclassSQLProducer{publicstaticintcount=10;publicstaticStringtopic="xiao-zou-topic";publicstaticvoidmain(String[]args){DefaultMQProducerproducer=MQUtils.createLocalProducer();IntStream.range(
jianjun_fei·2024-01-04 01:26

RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件源码分析

前言BrokerFastFailure快速失败处理组件，主要负责，在系统激活broker快速失败能力时，以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理：消息存储组件中的请求。如果消息存储组件中的OSPageCacheBusy（系统页缓存繁忙）为true，则对它的请求循环进行快速失败处理。清理发送线程池队列中的过期请求。清理拉取线程池队列中的过期请求。清理心跳线程池队列中的过期请
虚空小白·2024-01-03 20:52

RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件源码分析

前言ConsumerFilterManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责，对在消费者拉取消息时，进行消息数据过滤，且只针对使用表达式过滤的消费者有效。源码版本：4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白·2024-01-03 20:51

RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件源码分析

前言SubscriptionGroupManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本：4.9.3源码架构图核心数据结构主要的数据结构比较简单，维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件源码分析

前言FilterServerManager负责维护过滤服务器长连接与过滤服务器信息映射关系，并且内部有定时调度线程，不断检查过滤服务器实际数量和配置数量是否一致，如果不一致，就根据配置构建命令行命令，执行命令启动FilterServer过滤服务器进程。过滤服务器实例，是RockerMQ的高级功能，复制支持更复杂的过滤条件。源码版本：4.9.3源码架构图核心数据结构//过滤服务器管理组件public
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-BrokerStatsManager Broker统计管理组件源码分析

前言BrokerStatsManager主要负责对broker端的系统指标进行统计，如QUEUE_GET_NUMS队列获取数量、QUEUE_GET_SIZE队列获取大小指标的分钟、小时、天级别的统计数据。它针对的所有指标都是使用后台定时调度线程，对统计条目中的数据进行后台统计计算，存储在统计条目中的对应集合里，以便使用。源码版本：4.9.3源码架构图核心数据结构最核心的是维护了一个数据统计tabl
虚空小白·2024-01-03 20:21

RocketMQ源码 NameServer启动流程源码分析

前言RocketMQ在启动Namesrv的过程中会创建NamesrvController控制器，并初始化一些核心组件RouteInfoManager路由信息管理组件、NettyRemotingServer
虚空小白·2024-01-03 20:21

RocketMQ源码 创建Topic流程源码分析

前言MQAdminImplMQ管理组件提供了大量对mq进行管理的工具，其中一个就是创建Topic。它内部实现是通过mqClient工具从NameServer拉取当前Topic对应的路由元数据信息，解析遍历和当前topic有关的broker高可用分组集合，找到分组中的master主节点，然后依次对broker主节点发送创建topic请求。broker高可用分组的主节点收到请求后，将topic元数据存
虚空小白·2024-01-03 20:47

RocketMQ5.0延时消息时间轮算法

前言RocketMQ相较于其它消息队列产品的一个特性是支持延时消息，也就是说消息发送到Broker不会立马投递给消费者，要等待一个指定的延迟时间再投递，适用场景例如：下单后多长时间没付款系统自动关闭订单
程序员小潘·2024-01-03 19:40

RockerMQ的事务消息发送

RocketMQ的事务消息发送根据样例来看，发送事务消息采用了以下流程1.TransactionListener给事务打标记2.TransactionProducer.sendMessageInTransaction
peipei巴比·2024-01-03 17:36

centos7上的rocketmq安装

一、rocketmq安装详情可以查看rocketmq的官方网站:rocketmqofficalsite1.下载rocketmq的二进制包版本我们这里使用的是4.3.2下载链接：下载链接2.为rocketmq
大风过岗·2024-01-03 10:57

SpringBoot3集成RocketMQ

引入依赖：org.apache.rocketmqrocketmq-spring-boot-starter${rocketmq-spring-boot-starter.version}编辑配置文件，NameServer
数据驱动生活·2024-01-03 10:40

RocketMQ消息丢失问题

同步消息要同步刷盘才完成一次消息发送，一般不会消息丢失，但会增加一定的延迟。异步消息异步刷盘，先将消息存于缓冲区，达到一定大小才进行刷盘，存在消息丢失风险。实际开发中一般使用异步消息，为防止消息丢失通常自己对消息进行持久化：日志记录在文件或记录数据库等。生产者发送消息后将消息记录在MySQL并添加状态，消费者处理完消息后更新MySQL中消息的状态，最后通过定时任务将设定时长内未消费的消息进行补发避
数据驱动生活·2024-01-03 10:40
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他