DLedger

RocketMQ-DLedger架构-实践-小米

简介：DLedger架构作为RocketMQ4.5推出的全新架构，稳定性有保障。小米的在线核心业务规模巨大，需要很高的可靠性保证，因此选择了DLedger架构。
无心六神通·2024-01-28 02:33

RocketMQ-Dledger快速搭建-自动容灾切换-最佳实践

前言DLedger是一套基于Raft协议的分布式日志存储组件，部署RocketMQ时可以根据需要选择使用DLeger来替换原生的副本存储机制。
无心六神通·2024-01-26 00:17

RocketMQ生产环境常见问题分析与总结

RocketMQ消息零丢失方案生产者使用事务消息机制保证消息零丢失RocketMQ配置同步刷盘+Dledger主从架构保证MQ主从同步时不会丢消息消费者端不要使用异步消费机制RocketMQ特有的问题，
小超同学卷起来·2023-12-20 16:58

基于Raft算法的DLedger-Library分析 | 京东物流技术团队

1）DLedger是openMe
京东云开发者·2023-12-15 16:34

rocketMQ HA实现

第二种是通过Dledger框架，不仅实现了数据消息的备份，也可以实现故障转移，保证节点集群可以继续使用。本文主要熟悉Master/Slave是如何
挺ASir·2023-11-20 03:57

DLedgerServer消息写入

下面以一个demo来理解消息DLedger消息写入和同步其他Peers的流程/***创建DLedgerServer*/publicDLedgerServercreate(StringselfId,Stringpeers
J.xx·2023-10-27 14:11

MQ - 23 RocketMQ集群架构设计与实现

文章目录导图概述集群构建部署模式Master/Slave模式Dledger模式Controller模式（DLedgerController模式）为什么RocketMQ会支持这么多种部署模式，出于什么考虑数据可靠性
小小工匠·2023-10-16 23:17

RocketMQ 中DLedger框架 基于Raft算法实现选主及日志同步

broker在集群模式下，需要实现两个功能点：1、多节点broker之间commitLog日志文件内容同步；无论是写主读从，一写多读，多主模式等。同一个group内master-slave集群内，数据需要同步2、能够自动容灾，即主节点挂了之后能够自动产生新的主节点，不影响对外提供服务数据同步：传统Mater/Slave模式就可以支持自动选主及切换：Zookeeper组件，以及基于Raft等分布式一
追风夏·2023-10-07 10:43

RocketMQ 是如何使用dledger 模式保证故障自动恢复的

目录前言：RocketMQdledger集群架构RocketMQleader选举RocketMQ如何使用心跳维护leader地位RocketMQ故障恢复总结前言：在RocketMQ4.5之前，RocketMQ都是采用master-slave主从架构部署，如下图，master节点负责写入消息，slave节点负责同步master节点消息。假设master-1节点有个topic-A，假设此时master
陈煦源·2023-10-07 10:42

源码分析 RocketMQ DLedger 多副本即主从切换实现原理

原文：https://juejin.im/post/5db837186fb9a0204c5c36bbDLedger基于raft协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。RocketMQ中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含topic路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。那主从切换后元数据如何
还不够·2023-10-07 10:41

RocketMQ源码分析之Dledger模式

目录dledger集群搭建broker在启动的过程中如何触发选主流程dledger如何实现选主leader处理写请求及日志复制流程dledgercommitlog与oldcommitlog数据格式对比dledgercommitlog
不爱学习的小妞·2023-10-07 10:41

RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧

开头在找工作的过程中，对于Redis技术知识的掌握已经成为必须的技能。美团面试常常就会被问到Redis相关知识，而这次我就差点倒在了美团3面，面试官连问我以下几个Redis的问题，然后就卡壳了…redis了解吗？你说说怎么用redis实现分布式锁？Redis常用数据结构及底层数据结构实现如何解决Redis的并发竞争Key问题如何保证缓存与数据库双写时的数据一致性？剩下的不太记得了…为此面试完回来针
代码可可西·2023-10-07 10:10

从源码分析RocketMQ系列-RocketMQ5.0 自动主从切换设计详解

因此我们希望利用DLedger实现一个基
nihui123·2023-10-07 10:10

【RocketMQ】DLedger模式下的选主流程分析

RocketMQ4.5版本之前，可以采用主从架构进行集群部署，但是如果master节点挂掉，不能自动在集群中选举出新的Master节点，需要人工介入，在4.5版本之后提供了DLedger模式，使用Raft
S_H-A_N·2023-10-07 10:36

【RocketMQ】【源码】Dledger日志复制源码分析

消息存储在【RocketMQ】消息的存储一文中提到，Broker收到消息后会调用CommitLog的asyncPutMessage方法写入消息，在DLedger模式下使用的是DLedgerCommitLog
S_H-A_N·2023-10-02 21:31

【RocketMQ】【源码】DLedger选主源码分析

RocketMQ4.5版本之前，可以采用主从架构进行集群部署，但是如果master节点挂掉，不能自动在集群中选举出新的Master节点，需要人工介入，在4.5版本之后提供了DLedger模式，使用Raft
S_H-A_N·2023-09-29 04:42

rocketmq多主多从异步复制模式集群搭建

本文目录RocketMQ集群服务集群服务**方案1：多master模式**方案2：多“master-slave”异步复制模式方案3：多“master-slave”同步复制模式（同步双写）方案4：DLedger
zpsimon·2023-08-27 12:33

RocketMQ 的DLedger 选主机制

最近在看RocketMQ的raft实现，名字叫Dledger。找了一篇源码分析的博客发现其中很多细节都解释的不是很清晰。
affe·2023-08-25 07:38

RocketMQ系列：docker搭建rocketmq单机环境

2.环境准备2.1docker搭建模式docker：用于搭建单节点broker模式/dledger模式docker-compose：利用docker-compose快速搭建2broker的集群k8sdocker
公众号-测试生财·2023-08-02 22:07

12 RocketMQ高可用的生产部署架构

2.基于Dledger的Broker主从架构部署RocketMQ4.5版本之前的手动运维会导致系统的不可用。所以还是采取4.5版本后基于Dledger协议的自动主备切换的
鮀城小帅·2023-06-10 19:51

【RocketMQ】第三篇-RocketMQ一主两从高可用集群

RocketMQ一主两从高可用集群一、环境准备二、配置文件131机器配置文件132机器配置文件133机器配置文件配置解读Dledger配置参数含义测试验证三、RocketMQ主从同步1、同步刷盘和异步刷盘
北城小林·2023-06-10 19:51

设计一套高可用的RocketMQ消息中间件部署架构

集群化部署，达到高可用，建议部署3台机器，这样能充分保证NameServer作为路由中的的可用性哪怕一台或者两台挂掉，因为每个NameServer上有完整的集群路由信息，所以另外的服务也可以正常运行，2.基于Dledger
无名小卒QWQ·2023-06-10 19:47

RocketMQ学习一

（由阿里巴巴开源）它提供了多种功能：消息传递模式，包括发布/订阅、请求/回复和流式传输金融级交易信息基于DLedger的内置容错和高可用性配置选项多种跨语言客户端，如Java、C/C++、Python、
fooleryang·2023-06-07 14:02

RocketMQ05-实践问题

2、RocketMQ消息零丢失方案1》生产者使用事务消息机制保证消息零丢失2》RocketMQ配置同步刷盘+Dledger主从架构保证MQ自身不会丢消息3》消费者端不要使用异步消费机制4》RocketMQ
roykingw·2023-04-17 11:18

rocketmq集群

rocketmq多主多从架构（dledger）Producer消息生产者，位于用户的进程内，Producer通过NameServer获取所有Broker的路由信息，根据负载均衡策略选择将消息发到哪个Broker
古笑来·2023-04-07 11:33

RocketMQ DLedger架构在小米的大规模实践

DLedger架构是RocketMQ4.5推
阿里云云原生·2023-04-04 15:54

源码分析 RocketMQ DLedger 多副本存储实现，泛微网络java面试题

前言俗话说“生于忧患，死于安乐”，其实大部分中年危机，就是在安乐中产生的。有的人或许会反驳，“照你这么说，我还必须奋斗了，不奋斗就要死，难道选择安逸的生活就不对吗？我就没有选择自己生活方式的权利吗？”说这句话的人其实有一些误解，误解就在于，安逸的生活并不等于不需要奋斗，这要看你的家底。某聪如果说要选择安逸的生活，他可以很安逸，因为他有了安逸的资本，而大部分的你，并没有这个资本，你如果过早的选择了安
白云飘飘的心·2023-03-30 20:47

RocketMQ5.0.0路由中心NameServer

通过DLedger构建NameServer集群，实现如主从切换等功能。启动NameServer：启动注册中心，维护路由信息、周期检测Broker发送的心跳包Broker注册
爱我所爱0505·2023-03-30 07:23

RocketMQ底层

文章目录架构启动集群Netty主从复制刷盘机制事务消息顺序消息消息清理顺序写和零拷贝基于Dledger的主从复制架构Producer：就是消息生产者，可以集群部署。
charlie_wang007·2022-12-11 18:32

RocketMQ 如何保证消息的不丢失(技术及业务双重保障)

核心概要技术方向：NameServer高可用、同步刷盘、Dledger主从架构、事务消息同步消费业务方向：可用性校验定时补偿机制降级方案NameServer高可用和kafka不一样，RocketMQ中并没有
笨基乙胺·2022-12-11 18:30

RocketMQ5.0主备自动切换模式Broker选主详解

RocketMQ5.0增加了主备自动切换模式，这个模式是基于新开发的模块DLedgerController(基于Raft组件DLedger)。
肥肥技术宅·2022-10-24 04:58

RocketMQ DLedger架构在小米的大规模实践

DLedger架构是RocketMQ4.5推
·2022-10-10 15:00

dledger的raft协议）

前言这周更晚了一天，这周的内容可能相对于前些章来说会稍微繁琐一些，但是依然还是干货满满，相信追剧到这里的博友，都是志同道合的老友了，这章主要进阶一波，深入理解一下rocketMQ的一些原理知识，废话不多说，开干！1.首先解答前期铺垫的pull和push两种消费模式的区别之前的章节中有做过一个铺垫，这里就不多提了，简单的来讲，push和pull本质上消费模式是一样的，都是消费者机器主动发送请求到br
咖喱ABC·2022-10-01 07:23

RocketMQ的BrokerContainer

单进程视图2、对等部署形态3、传输层共享三、启动方式和配置四、运行时增加或较少Broker五、存储变化六、日志变化一、背景在RocketMQ4.x版本中，一个进程只有一个broker，通常会以主备或者DLedger
卡布奇诺-海晨·2022-09-08 15:23

Awaitility同步异步工具实战示例详解

例如：DLedger测试选举的过程。当DLedgerLeader下线。此时DLedger会重新发起选举，这个选举的过程是需要一定时间。很多时候在测试代码中就会使用Threa
·2022-08-25 18:28

1、安装RocketMQ

构建Dledger：[root@localhost~]#gitclonehttps://github.com/openmessaging/openmessaging-storage-dledger.git
缘木与鱼·2021-09-26 15:13

【RocketMQ】开启DLedger高可用之后的坑：性能骤降30倍

最近在做性能测试的时候发现，当集群开启了DLedger高可用之后，性能很差，TPS相差有30倍之多，详细过程记录如下：集群信息集群1：版本4.7.1，3Master，每个Master两个Slave，单Broker8G
Mr.ZhuRunHua·2021-05-26 16:42

Apache RocketMQ 4.8.0，DLedger 模式全面提升！

简介：“童年的雨天最是泥泞，却是记忆里最干净的曾经。凛冬散尽，星河长明，新的一年，万事顺遂，再见，2020！”作者|RocketMQ社区来源|阿里巴巴云原生公众号“童年的雨天最是泥泞，却是记忆里最干净的曾经。凛冬散尽，星河长明，新的一年，万事顺遂，再见，2020！”走过这个岁末，万众期待的ApacheRocketMQ4.8.0终于发布了，在这个版本中社区对RocketMQ完成大量的优化和问题修复。
阿里云开发者·2021-01-29 13:11

RocketMQ还在使用4.7.1版本的DLedger模式么，建议升级到4.8.0吧

前言最新的4.8.0的DLedger模式中在处理发送消息的时候，从节点ack通过流水线的方式，大大的提升了消息发送的吞吐量。
NetWhite·2021-01-20 00:23

RocketMQ基于Dledger模式，平滑升级操作

集群模式：多主多从（比如，2主4从）支持主从切换：Dledger，不支持也可参考，满足上一条要求发送端与消费端在进行broker升级的过程中（broker重启），要求客户端不允许出现errror日志场景
NetWhite·2021-01-09 23:36

Apache RocketMQ 发布 4.8.0，DLedger 模式全面提升！

更重要的是，该版本从性能、稳定性、功能三个方面大幅度提升DLedger模式能力。DLedger是OpenMes
阿里巴巴云原生·2021-01-08 18:06

Apache RocketMQ 发布 4.8.0，DLedger 模式全面提升！

更重要的是，该版本从性能、稳定性、功能三个方面大幅度提升DLedger模式能力。DLedger是OpenMes
阿里巴巴云原生·2021-01-07 13:22

RocketMQ系列：FAQ之dledger4.7.1集群问题

前言公司的项目里面使用了rocketmq，开发建议使用rocketmq的最新版本4.7.1，并采用dledger模式部署。
测试生财·2020-10-01 07:31

RocketMQ系列：rocketmq的benchmark工具

1.环境参考benchmark环境搭建：参考单机快速搭建单broker环境被压测环境：rocketmq的dledger集群2.源码位置https://github.com/apache/rocketmq
测试生财·2020-09-29 07:41

Dledger是如何实现主从自动切换的

前言hello小伙伴们，今天王子又来继续和大家聊RocketMQ了，之前的文章我们一直说Broker的主从切换是可以基于Dledger实现自动切换的，那么小伙伴们是不是很好奇它究竟是如何实现的呢？
H.U.C-王子·2020-09-28 13:00

RocketMQ系列：docker搭建rocketmq的dledger模式集群（全网独家）

接上文：docker-compose搭建rocketmq集群环境本文介绍如何使用play-docker-dledger.sh搭建rocketmq的集群环境1清理环境这里需要删除刚才docker-compose
测试生财·2020-09-28 07:20

Linux 从零搭建RocketMQ及进行可视化的监控和管理

文章目录说明搭建测试RocketMQ构建RocketMQ监控说明由于我的服务器内存很小，所以搭建暂时不使用dledger构建集群搭建本次搭建仅搭建一个NameServer和一个Broker官方搭建文档我这里按我的步骤来及一些坑分享给搭建
weihubeats·2020-09-11 16:48

聊聊Raft算法

1.概述最近终于有时间去看看raft算法的论文，raft作为一个易于理解和实现的一致性算法（毕竟我这样的菜都能看懂），已经应用到很多系统的构建上（分布式数据库TIDB，RocketMq的Dledger等
gosh·2020-08-24 17:11

RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧

源码分析RocketMQDLedger多副本系列已经进行到第8篇了，前面的章节主要是介绍了基于raft协议的选主与日志复制，从本篇开始将开始关注如何将DLedger应用到RocketMQ中。
编码博客控·2020-08-23 11:15

源码分析 RocketMQ DLedger 多副本存储实现

@TOCRocketMQDLedger的存储实现思路与RocketMQ的存储实现思路相似，本文就不再从源码角度详细剖析其实现，只是点出其实现关键点。我们不妨简单回顾一下CommitLog文件、ConsumeQueue文件设计思想。其文件组成形式如下：正如上图所示，多个commitlog文件组成一个逻辑上的连续文件，使用MappedFileQueue表示，单个commitlog文件使用MappedF
中间件兴趣圈·2020-08-22 13:25
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他