BROKER

kafka存储原理

topic分着存储在broker的分区中，分区进一步分为segment。日志目录中的每一组文件都代表一个段。段文件名中的后缀表示该段的基本偏移量。log.segment.bytes表示分段的最大大小。
、、揽明月九天·2025-04-09 12:53

kafka 的存储文件结构

1.Kafka存储目录结构Kafka的存储文件分布在每个Broker上，每个K
百里自来卷·2025-04-07 15:37

【ESP32】ESP32与MQTT通信：实现传感器数据监测与设备控制

ESP32与MQTT通信1项目概览2硬件组成3MQTT协议解析MQTT协议简介MQTT核心概念本项目中的MQTT应用4MQTTBroker选择EMQXBroker其他常用MQTTBroker5代码解析初始化与配置
hmywillstronger·2025-04-07 15:35

架构及大数据-Zookeeper与Kafka的关系及使用依赖，二者需要同时使用吗？KRaft模式又是啥？

Kafka的关系及使用依赖‌一、Zookeeper在Kafka中的核心作用‌Zookeeper是Kafka早期版本（2.8.0之前）中不可或缺的分布式协调服务，主要承担以下关键功能：‌元数据管理‌存储Broker
碧海饮冰·2025-04-07 09:28

RocketMQ 01

总路线请移步主页Java大纲相关文章今天进行RocketMQ1,2个模块的归纳首先是RocketMQ的相关内容概括的思维导图1.核心组件1.1NameServer核心功能服务发现：作为轻量级注册中心，管理所有Broker
Java_半岛铁盒·2025-04-06 22:47

Kafka 中的幂等机制

Kafka中的幂等性（Idempotence）是生产者端的重要机制，旨在确保即使在网络抖动、重试、Broker重启等情况下，同一条消息不会被重复写入到Topic中。
百里自来卷·2025-04-06 08:15

Apache Pulsar负载均衡模块原理与源码分析

文章目录前言一、负载上报二、leader选取与负载聚合三、卸载bundle四、topiclookup五、分配bundle引文前言负载均衡对于一个分布式系统而言是不可或缺的重要模块，ApachePulsar实现了Broker
qq_1434749602·2025-04-06 07:41

消息队列之-Kafka

高可用消息备份机制1.基本原理2.ISR（In-SyncReplicas）3.ACK（Acknowledgements）4.LEO（LogEndOffset）5.HW（HighWatermark）实际场景示例故障恢复Broker
惊醒幡然1·2025-04-06 04:46

【Kafka】Kafka生产者如何实现冥等的？

Kafka的生产者在发送数据到broker，如果broker在收到消息后崩溃或者断开连接，导致生产者没有接收到成功响应，这时会触发重试机制，这种场景下回导致消息的重复。
此木|西贝·2025-04-06 03:11

用python的flask写的一个MQTT中转功能，http的方式发送数据和接收数据

v.iiar.cnimportjsonimportpaho.mqtt.clientasmqttimportrequestsfromflaskimportFlask,requestapp=Flask(__name__)#MQTT配置mq_broker
陈钇谷·2025-04-06 03:09

Kafka、RocketMQ、Pulsar对比

以下是Pulsar相较于Kafka和RocketMQ的主要区别：1.架构设计Pulsar：分层架构：Pulsar采用计算与存储分离的设计，Broker（计算层）负责消息的路由和处理，ApacheBookKeeper
小诸葛的博客·2025-04-03 21:18

RabbitMQ应用架构及问题解决方案

图1.1RabbitMQ结构示意图由图1.1可知，完整RabbitMQ共有7个部分组成，（1）BrokerRabbitMQ服务器,用于对外提供服务,客户端(生产者及消费者)使用RabbitMQ消息中间件均需要连接到
天然玩家·2025-04-03 05:04

kafka 报错消息太大解决方案 Broker: Message size too large

kafka-configs.sh--bootstrap-serverlocalhost:9092\--alter--entity-typetopics\--entity-namesim_result_zy\--add-configmax.message.bytes=10485880学习营课程
sunshine_sean·2025-04-02 04:18

RocketMQ与kafka如何解决消息丢失问题？

本文主要说明RocketMQ和Kafka在解决消息丢失问题时，在生产者、Broker和消费者之间如何解决消息丢失问题。1.RocketMQ如何解决消息丢失问题？  
一个儒雅随和的男子·2025-04-02 04:17

Kafka架构揭秘：理解Producer、Consumer、Broker和Zookeeper的工作原理

目录Kafka架构揭秘：理解Producer、Consumer、Broker和Zookeeper的工作原理引言1.Kafka的基本架构Kafka的基本工作流程2.Producer（生产者）的工作原理2.1Producer
一碗黄焖鸡三碗米饭·2025-04-01 20:38

Flink/Kafka在python中的用处

Broker：Kafka集群中的单个服务器节点。用途：实时数据传输（如日志、事件流）。缓冲
不辉放弃·2025-04-01 02:59

在Spring Boot项目中集成MQTT协议

1.准备工作在开始之前，请确保以下条件已满足：已安装并运行MQTTBroker（如EclipseMosquitto或EMQX）。
getapi·2025-03-30 11:00

CentOS 上 Apache Kafka 2.13-3.8.1 集群部署指南（ZooKeeper 模式）

1、安装前准备在开始部署Kafka集群之前，需要进行一些准备工作：操作系统和主机规划：准备至少3台CentOS服务器（可以是虚拟机或实体机），用于部署3个Kafkabroker节点和3个ZooKeeper
CXH728·2025-03-30 08:38

使用Kafka 3.2.3内置的Zookeeper

Kafka3.2.3内置ZooKeeper使用步骤1.下载与解压2.配置ZooKeeper3.配置Kafka4.启动ZooKeeper5.启动Kafka注意事项环境检查1.连接ZooKeeper并查看BrokerID2
喝醉酒的小白·2025-03-28 16:03

深入解析MQTT协议消息订阅与接收机制：标准协议与阿里云物联网平台的差异及开发建议

标准MQTT协议下的情况基本安全机制在标准MQTT协议的框架下，服务器（broker）在消息传递方
yiyi8399·2025-03-28 12:09

Python脚本，用于查询RocketMQ的JMX接口以获取生产者和消费者的连接数

首先，你需要在Broker的配置文件中开启JMX：com.alibaba.rocketmq.common.MQVersion.enable_jmx=true然后，你可以使用以下脚本来获取连接数：importrequestsimportjson
ascarl2010·2025-03-27 10:19

RabbitMQ概述

RabbitMQRabbitMQ概述RabbitMQ是一个开源的消息代理（messagebroker）系统，最初由RabbitTechnologiesLtd开发，并在开源社区的支持下不断发展和完善。
望北i·2025-03-27 05:13

springbus类是做什么用的_Spring Cloud Bus消息总线

目前实现依赖AMQPbroker或者Kafka。1.快速开始如果SpringCloudBus在类路径中检测到自身，则通过添加SpringBoota
weixin_39635657·2025-03-27 00:38

RabbitMQ面试整理

RabbitMQ的核心组件包括以下几部分，他们共同构成了RabbitMQ的基本架构：（1)Broker：RabbitMQ服务器，负责接收和分发消息的应用。
问不倒呀·2025-03-26 23:05

RocketMQ 详细知识点总结

异步和单向发送方式提供事务消息功能Consumer（消费者）消息的接收者支持Push和Pull两种消费模式支持集群消费和广播消费NameServer（命名服务）路由注册中心无状态节点，可集群部署提供轻量级服务发现和路由Broker
翱翔-蓝天·2025-03-26 22:53

Celery+Redis：高效实现Python分布式任务队列与异步处理

sendtasktobrokerbyc
船长@Quant·2025-03-25 09:14

Kafka 面试备战指南

答：Producer：消息生产者Consumer：消息消费者Broker：服务节点，存储消息Topic：消息分类的逻辑概念Partition：Topic的物理分片，保证
宋发元·2025-03-25 02:26

将Wi-Fi模块订阅MQTT主题以获取最新的固件版本推送信息

MQTT服务器（Broker）：用于发布和订阅消息的主题中心。云端服务：负责管理固件版本信息，并通过MQTT发
getapi·2025-03-25 01:48

RabbitMQ基本原理

生产者发送消息流程：1、生产者和Broker建立TCP连接；2、生产者和Broker建立通道；3、生产者通过通道消息发送给Broker，由Exchange将消息进行转发；4、Exchange将消息转发
码农小伙·2025-03-24 07:25

解决mqtt有时候收不到消息

项目场景：mqtt订阅之后有时候收不到消息使用测试工具发订阅消息问题描述mqtt订阅之后有时候收不到消息原因分析：cleanSession:true每次客户端连接到MQTTBroker时，都会创建一个新的会话
技术需要沉淀gogo·2025-03-24 04:21

Kafka常见问题

Kafka集群，常见MQ面试问题Kafka集群，常见MQ问题Kafka名词介绍•Topic:消息队列，生产者和消费者面向的都是一个Topic•Broker:一个Kafka服务器就是一个Broker，一个集群由多个
C18298182575·2025-03-23 00:19

关于kafka常见的问题小结

目录1.Kafka怎么避免重复消费1.1什么时候出现重复消费1.2如何处理重复消费问题2.Kafka怎么保证消息不丢失2.1Producer2.2Broker2.3Consumer3.Kafka怎么保证消息消费的顺序最近面试遇到一些常见
BAStriver·2025-03-21 13:51

物联网为什么用MQTT不用 HTTP 或 UDP？

MQTT代码示例//MQTT客户端连接到MQTT服务器mqttClient.connect("mqtt://broker.server.com:8883",clientId)//订阅特定主题mqttClient.subscribe
工程师焱记·2025-03-20 12:20

zookeeper&nacos&kafka之间的联系

两者的协同主要通过以下关键机制实现：Broker注册与心跳KafkaBroker启动时会在ZooKeeper的/brokers/ids路径下注册临时节点（EphemeralNode），
Gold Steps.·2025-03-20 11:19

Kafka集群部署实战

集群运维最佳实践1.容量规划建议指标推荐值监控阈值分区数量/Broker≤4000≥3500告警副本同步延迟
Gold Steps.·2025-03-20 11:49

用旧的手机搭建 MQTT Broker-Node_red

MQTTBroker搭建在Android上搭建MQTT所需工具：termux通过网盘分享的文件：termux-app_v0.118.1+github-debug_armeabi-v7a.apk链接:https
君零渊·2025-03-20 01:23

Kafka系列之—向Kafka 写入数据（四）

一，创建Kafka生产者1.1必选的三个属性1.1.1bootstrap.servers指定broker的地址清单，不需要包含所有的broker地址，生产者会从给定的broker里找到其它broker的信息
葛旭朋·2025-03-19 22:57

MQ和ActiveMQ浅析

文章目录什么是JMSMQ消息中间件应用场景异步通信缓冲解耦冗余扩展性可恢复性顺序保证过载保护数据流处理常用消息队列（ActiveMQ、RabbitMQ、RocketMQ、Kafka）比较JMS中的一些角色BrokerproviderConsumerp2ppub
星星都没我亮·2025-03-17 20:38

深度好文 图解 RocketMQ 的系统架构

1集群架构RocketMQ的集群架构如下图：从上图可以看到，整个集群中有四个角色：NameServer集群、Broker主从集群、Producer
橘野禾·2025-03-16 13:18

AVA面试_进阶部分_kafka面试题

为单位进行归纳将向Kafkatopic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.producers
茂茂在长安·2025-03-15 15:41

笔记-python之celery使用详解

以下是Celery的使用详解：安装Celery使用pip安装Celery：pipinstallcelery创建Celery实例首先，需要创建一个Celery实例，指定broker（消息中间件）和backend
大白砌墙·2025-03-15 06:50

Kafka、RocketMQ、RabbitMQ三款消息中间件的原理

一、Kafka简介Producer：生产者，向Kafka集群（Broker）中发送消息Consumer：
家常凉菜·2025-03-14 12:48

Doris集群启停脚步

在Doris中，FE（Frontend）、BE（Backend）和Broker组件有特定的启动和关闭顺序，下面详细介绍一下。
江畔独步·2025-03-12 20:01

NanoMQ ds笔记250306

downloads/nanomqNanoMQ官方文档https://nanomq.io/docs/zh/latest/NanoMQ是一个专为物联网边缘计算设计的轻量级、高性能MQTT消息代理（MessageBroker
kfepiza·2025-03-12 05:43

RabbitMQ error : cannot_delete_plugins_expand_dir

通过命令rabbitmq-server前台启动RabbitMQ报错...Startingbroker...BOOTFAILED===========Errorduringstartup:{error,{
dev-tang·2025-03-10 17:33

RabbitMQ知识点梳理

分为server端（也称为Broker）和client端server端：Broker：RabbitMQ服务器，用于对外提供服务。
java1224·2025-03-10 17:32

【从0到1构建实时聊天系统：Spring Boot + Vue3 + WebSocket全栈实战】

WebSocketClient部署：Nginx+DockerCompose二、核心功能实现1.WebSocket双向通信//后端配置类@Configuration@EnableWebSocketMessageBrokerpublicclassWebSocketConfigimplem
小怪兽9699·2025-03-10 17:58

PyBroker: 使用Python进行机器学习驱动的算法交易指南

PyBroker:使用Python进行机器学习驱动的算法交易指南pybrokerAlgorithmicTradinginPythonwithMachineLearning项目地址:https://gitcode.com
任铃冰Flourishing·2025-03-10 16:22

PyBroker：利用 Python 和机器学习助力算法交易

PyBroker：利用Python和机器学习助力算法交易你是否希望借助Python和机器学习的力量来优化你的交易策略？那么你需要了解一下PyBroker！
skywalk8163·2025-03-10 15:48

IoT平台软件：AWS IoT二次开发_AWSIoT基础架构与核心组件

基础架构概述AWSIoT的基础架构主要由以下几个核心组件组成：设备网关（DeviceGateway）消息代理（MessageBroker）规则引擎（RulesEngine）设备影子（De
chenlz2007·2025-03-10 10:10
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他