BROKER

Kafka的分布式架构与高可用性

Kafka体系架构简介以下是Kafka的软件架构，整个Kafka体系结构由Producer、Consumer、Broker、ZooKeeper组成。Broker又由Topic、分区、副本组成。
吾日三省吾码·2023-10-08 12:30

RocketMQ 5.0 新版版本新特性总结

1架构变化RocketMQ5.0架构上的变化主要是为了更好的走向云原生RocketMQ4.x架构如下：Broker向NameServer注册Topic路由信息，Producer和Consumer则从NameServer
Young丶·2023-10-08 10:08

「Kafka深度解析」快速入门

每个分区的消息保证顺序传输，而分区之间可以并发操作4.支持在线增加分区，支持在线水平扩展5.支持每个分区创建多个副本，其中只有一个Leader副本负责读写，其他副本只负责与Leader副本进行同步从而提高容灾能力核心概念BrokerKafka
wh4763·2023-10-08 07:51

kafka单机部署多服务

主要是配置文件service.propertieskafka0broker.id=0listeners=PLAINTEXT://localhost:9090advertised.listeners=PLAINTEXT
安安爸Chris·2023-10-08 06:35

Kafka

1Kafka架构  生产者、Broker、消费者、Zookeeper；  注意：Zookeeper中保存Brokerid和消费者offsets等信息，但是没有生产者信息。  
满床清梦覆星河·2023-10-08 05:51

08 集群参数配置（下）

KafkaBroker不需要太大的堆内存？KafkaBroker不需要太大的堆内存？应该把内存留给页缓存使用？kafka刷盘时宕机kafka认为写入成功是指写入页缓存成功还是数据刷到磁盘成功算成功呢？
ZyyIsPig·2023-10-07 23:06

RocketMQ-架构设计

Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。Consumer：消息消费的角色，支持分布式集群方式部署。
疯狂撸代码的奋青骚年·2023-10-07 20:28

Kafka 高可用

正文一、高可用的由来1.1为何需要Replication在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与
Lamb!·2023-10-07 18:42

Kafka 架构

正文一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka
Lamb!·2023-10-07 18:06

kafka集群及副本的概念

文章目录kafka集群及副本的概念1.搭建kafka集群,3个broker2.副本的概念3.borker,主题,分区,副本之间的联系4.kafka集群的消费问题kafka集群及副本的概念1.搭建kafka
z啵唧啵唧·2023-10-07 15:46

Kafka集群原理

每个broker都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker启动的时候，它通过创建临时节点把自己的ID注册到Zookeeper。
xiaofang233·2023-10-07 15:46

kafka集群工作机制

一、kafka在zookeeper上的元数据解释kafka中的broker要选举Controller角色来管理整个kafka集群中的分区和副本状态。
高如风·2023-10-07 15:16

RocketMQ 中DLedger框架 基于Raft算法实现选主及日志同步

broker在集群模式下，需要实现两个功能点：1、多节点broker之间commitLog日志文件内容同步；无论是写主读从，一写多读，多主模式等。
追风夏·2023-10-07 10:43

RocketMQ源码分析之Dledger模式

目录dledger集群搭建broker在启动的过程中如何触发选主流程dledger如何实现选主leader处理写请求及日志复制流程dledgercommitlog与oldcommitlog数据格式对比dledgercommitlog
不爱学习的小妞·2023-10-07 10:41

从源码分析RocketMQ系列-RocketMQ5.0 自动主从切换设计详解

背景当前RocketMQRaft模式主要是利用DLedgerCommitlog替换原来的Commitlog，使Commitlog拥有选举复制能力，但这也造成了一些问题：Raft模式下，Broker组内副本数必须是三副本及以上
nihui123·2023-10-07 10:10

RocketMQ5.0源码分析-Broker主备自主切换组件AutoSwitchHAService图文详解

RocketMQ5.0实现了主备自主切换其中AutoSwitchHAService作为其中一个重要的组件实现了当中的很多功能：下面就来分析这些功能的实现。Tips:RocketMQ源码版本：5.0.01.AutoSwitchHAService工作流程首先来看一下AutoSwitchHAService的工作流程，图如下：主要分为几块：AutoSwitchHAService初始化AutoSwitchH
程序一逸·2023-10-07 10:38

云原生开源工具、软件、教程大全。

目录AIAPIGatewayApplicationDeliveryBigDataDatabaseEdgeComputingKubernetesOperatorsLoggingMessageBrokerMiscellaneousNetworkObservabilityOrchestrationandSchedulerProxyRPCRuntimeSecurityandAuditServiceMesh
Sunday_ding·2023-10-07 08:25

Corba概念（GIOP、IIOP、IOR、ORB、IDL）

Corba概念（GIOP、IIOP、IOR、ORB、IDL）CORBA公用对象请求代理（调度）程序体系结构（CommonObjectRequestBrokerArchitecture），缩写为CORBA
达微·2023-10-07 06:41

RocketMQ踩得坑（控制台报错）

问题：控制台使用频繁报错，以及点击topic状态、consumer配置时报错，或无数据“org.apache.rocketmq.client.exception.MQBrokerException:CODE
正在学习的苦逼程序员一枚·2023-10-07 06:04

第四章数据编码和更新-part4,designing Data-Intensive Applications 中文翻译摘要

他与数据库相似点在于他并不是通过网络直接将数据发送给对方进程，而是通过一个消息传递代理,messagebroker，broker可以临时储存消息。
cheng_e819·2023-10-07 05:32

RabbitMQ的使用

一、消息中间件RabbitMQ---概述和概念【一】1、概述1、大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力2、消息服务中两个重要概念：消息代理（messagebroker）和目的地
Mr.Aholic·2023-10-06 21:43

消息队列技术选型：这 7 种消息场景一定要考虑！

1普通消息消息队列最基础的功能就是生产者发送消息、Broker保存消息，消费者来消费消息，以此实现系统解耦、削峰填谷的作用。普通消息是消息队列必备的消息类型，也是系统使用场景最多的一种消息。
君哥聊技术·2023-10-06 21:39

rocketmq源码③-Producer的启动、发送消息、路由broker

添加了注释的源码https://github.com/WangTingYeYe/rocketmq_source前提介绍：一定要先看前面的几篇文章，了解rocketmq的基本概念和架构设计之后再看本篇Producer分类Producer有两种。一个是普通发送者DefaultMQProducer。这个只需要构建一个Netty客户端。还一个是事务消息发送者：TransactionMQProducer。这
七层汉堡王·2023-10-06 18:17

kafka初体验基础认知部署

Kafk消息系统由多个**broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性
七层汉堡王·2023-10-06 18:16

展豪说1-40d

展豪说（1-40d）day1文章：《原来这才是kafka》链接：https://www.jianshu.com/p/d3e963ff8b70说明：对kafka架构讲解很清晰，对broker、topics
小豪学习之路·2023-10-06 12:54

Kafka 搭建过程

分布式：Kafka集群由多个服务器（Broker）组成，数据会被分布存储。持久性
翔云123456·2023-10-06 08:51

rabbitmq学习笔记

基础概念基础架构图：borker：负责接收和分发消息的应用，一个RabbitMQServer就是MessageBrokerVirutalHost：出于多租户和安全因素设计的，把AMQP的基本组件拆分到一个虚拟的分组中
肯定不吃番茄啊·2023-10-05 22:58

Rabbitmq学习笔记

1.2四大概念生产者交换机队列消费者1.3核心部分简单模式工作模式发布订阅模式路由模式主题模式发布确认模式Broker就是Rabbi
hashmap0818·2023-10-05 22:55

大厂生产环境的RocketMQ都是这样部署的

集群模式1、单Master模式这种部署方式的风险比较大，一旦Broker宕掉，就会导致整个服务不可用，一般只在开发环境为了节约资源的时候使用，线上环境非常不建议使用。2、多Master模式这种模式会
故里学Java·2023-10-05 12:04

DirectKafkaInputDStream源码分析(包含动态分区感知)

先上一个官网的栗子：objectDirectKafkaWordCount{defmain(args:Array[String]){if(args.lengthbrokers)valmessages=KafkaUtils.createDirectStream
有梦想的人不睡觉_4741·2023-10-04 23:21

kafka知识与理解

文章目录背景为什么需要kafka，mysql行不行常识生产者流程zookeeper与kafkakafkabroker的增加和删除broker故障broker重要参数调优副本位置分配消费者消费者offset
rookie19_HUST·2023-10-04 23:13

RabbitMQ - RabbitMQ交换机；事务；发送、接收消息

它支持符合要求的客户端应用（application）和消息中间件代理（messagingmiddlewarebroker）之间进行通
MinggeQingchun·2023-10-04 21:27

一篇文章带你弄懂Kafka基本原理

zk和Kafka二、Kafka生产者1、基本原理介绍2、Kafka的异步发送3、生产者分区原理4、提高生产者吞吐，发送能力5、生产者数据可靠性6、生产者数据去重7、消息有序8、数据乱序三、Kafka的broker1
卒获有所闻·2023-10-04 17:00

RabbitMQ概念总结

核心概念：broker,channel,messagemessage组成：properties+body,properties修饰优先级高级特性exchange:接收消息，根据路由建转发消息到绑定队列，
qq_35989848·2023-10-04 15:48

RabbitMQ｜RabbitMQ的总结

RabbitMQRabbitMQ概念RabbitMQ简介:核心概念MessagePublisherExchangeQueueBindingConnectionChannelConsumerVirtualHostBroker
markuszhang·2023-10-04 15:17

RabbitMQ核心总结

server：又称broker，接受客户端连接，实现AMQP实体服务。connection：连接和具体broker网络连接。
爱琴孩·2023-10-04 15:17

Celery使用：优秀的python异步任务框架

Celery通过消息机制进行通信，通常需要中间人（Broker）和工作者（Wor
coder Ethan·2023-10-04 08:23

RocketMQ 的使用

一、RocketMQ简介1.1、组件概念NameServer：RocketMQ的注册中心，管理集群的Topic-Queue的路由配置、Broker的实时配置信息。
JunSouth·2023-10-04 08:15

RocketMq源码之Broker启动分析

简介本文用来剖析rocketmqbroker相关逻辑，以便了解broker启动时做了哪些事；启动类BrokerStartup启动方法是createBrokerController,具体流程:解析启动参数
奔跑地蜗牛·2023-10-04 07:30

RocketMq的负载均衡

就是一个注册中心，存储当前集群所有Brokers信息、Topic跟Broker的对应关系。Namesrv用于存储Topic、Broker关系信息，功能简单，稳定性高。
Patrick_e604·2023-10-04 05:33

MQTT 服务器搭建（基于mosquitto）

Mosquitto是用C语言实现MQTT协议的Broker。
东皇※太一·2023-10-03 22:52

【Kafka专题】Kafka集群架构设计原理详解

目录前言前置知识课程内容一、Kafka的Zookeeper元数据梳理1.1zookeeper整体数据1.2ControllerBroker选举机制1.3LeaderPartition选举机制1.4LeaderPartition
验证码有毒·2023-10-03 08:42

rocketmq-4.4.0从零单排（3.架构拆解）

1、rocketmq模块划分rocketmq模块划分2、rocketmq模块具体含义ack：mq的确认机制实现broker：消息中间件核心，即消息代理client：我们所用到的客户端filter：消息传递过程中的过滤机制
费列罗与小明·2023-10-03 06:16

从 0 到 1 ,手把手教你编写《消息队列》项目(Java实现) —— 创建项目 / 创建核心类

二、创建核心类交换机:Exchange队列:Queue绑定关系:Binding消息:Message这些核心类都存在于BrokerServer中.先创建出服务器与客户端的包.再在服务器中创建core包,用来存
究极无敌代码大王·2023-10-02 23:17

Celery

通过消息进行通信，使用消息队列（broker）在客户端和消费者之间进行协调。架构如下：任务队列任务队列是一种跨线程、跨机器工作的一种机制.任务模块包含异步任务和定时任务。
大金叶子·2023-10-02 22:34

【RocketMQ】【源码】Dledger日志复制源码分析

消息存储在【RocketMQ】消息的存储一文中提到，Broker收到消息后会调用CommitLog的asyncPutMessage方法写入消息，在DLedger模式下使用的是DLedgerCommitLog
S_H-A_N·2023-10-02 21:31

使用celery实现短信验证码的异步发送

第一步操作当然是安装：pipinstallcelery新建一个celery文件夹（包），包含任务，配置，主函数（启动）文件1.首先编写配置文件，如：config.pybroker_url="redis:
yiyllong·2023-10-02 18:50

Kafka连接服务器出现:Connection to node 1 (localhost/127.0.0.1:9092) could not be established.

在服务器本地可以使用命令行参数连接并且进行发布订阅操作，但是在外网环境就不可以了，SpringBoot连接报错：Connectiontonode1(localhost/127.0.0.1:9092)couldnotbeestablished.Brokermaynotbeavailable
gurlan·2023-10-02 07:59

Kafka之Docker部署Kafka kraft集群

最近趁着有空想复习一下Kafka原理，之前学的是Kafka1.9的版本，需要Zookeeper作为基础，专门存放Kafka的元数据使用，如Broker、Consumer、Topic等；但下载的时候发现Kafka
Genterator·2023-10-02 04:35

史上最便捷搭建RocketMQ服务器的方法

从github上面拉取项目修改broker.conf中的brokerIP1参数，修改为本机IP进入docker-compose.yml文件所在路径，执行docker-composeup命令即可前言首先
不学无数的程序员·2023-10-02 04:27
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他