BROKER

Kafka 基础与架构理解

）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka的分布式架构设计Leader-Follower机制与数据复制Log-basedStorage和持久化Broker
StaticKing·2024-09-15 19:27

rabbitmq

1.消息服务概述、rabbitmq核心概念消息服务概述：大多数应用中，可通过消息服务中间件来提升系统异步通信，扩展解耦能力两个重要概念：消息代理(messagebroker)和目的地(destination
楚楚ccc·2024-09-15 15:34

分布式消息队列Kafka

Kafka集群由多个Kafka实例（Server）组成，每个实例称为Broker。
叶域·2024-09-14 22:55

RocketMQ 架构简析，看这篇就够了！

如果发送的是事务消息且原始生产者在发送之后崩溃，则Broker服务器会联系同一生产者组的其他生产者实例以提交或回溯消费。
V搜编程进阶路·2024-09-14 19:33

Kafka系列之：kafka命令详细总结

命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host
快乐骑行^_^·2024-09-14 08:55

搭建Kafka+zookeeper集群调度

前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka
krb___·2024-09-14 07:17

2021-09-03

戴安娜王妃，采用各种出奇招数，破解了皇家的那些陈规陋习——3VariouswaysPrincessDianausedtobrokeroyaltradition7戴安娜让她的儿子们接触皇室以外的生活方式。
潇洒二爷·2024-09-14 05:15

Kafka的ack机制

ack=0/1/-1的不同情况：0：producer不等待broker的ack，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；1：producer等待broker的ack
香山上的麻雀·2024-09-13 10:18

ActiveMQ集群下的消息回流功能

"丢失"的消息如果有broker1和broker2通过networkConnector连接，有一个consumer1连接到broker1,一个consumer2连接到broker2，程序往broker1
海拉姆·2024-09-11 08:26

Docker部署RocketMQ5.2.0集群

每个Broker都向所有NameServer实例注册。(4)Broker：负责存储消息、转发消息。部署模式RocketMQ作为消息中间件，其主要功能为消息的Publish/Subscribe。
egzosn·2024-09-10 10:58

【Java】已解决：MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broke

文章目录一、分析问题背景场景示例：二、可能出错的原因三、错误代码示例错误分析：四、正确代码示例代码改进说明：五、注意事项在分布式消息中间件如ApacheRocketMQ的使用过程中，MQBrokerException
屿小夏·2024-09-09 05:59

Kafka是如何实现高性能的

将写磁盘的过程变为顺序写Kafka的整个设计中，Partition相当于一个非常长的数组，而Broker接收到的所有消息顺序写入这个大数组中。
明斯克开源·2024-09-09 04:19

MQTT.js 简述

mqtt.js是一个JavaScript库，支持在Node.js和浏览器中使用，用于通过MQTT协议与MQTTBroker进行通信。
Wu Youlu·2024-09-09 02:10

Windows安装RabbitMQ详细教程

一、RabbitMQ简介RabbitMQ是一个功能强大且易于使用的开源消息代理，它支持多种消息协议（AMQP、STOMP、MQTT等），并提供了一个易用的用户界面来监控和管理消息Broker。
赵亚旭·2024-09-08 13:10

RocketMQ 如何保证消息不丢失？

RocketMQ的消息想要确保不丢失，需要生产者、消费者以及Broker的共同努力，缺一不可。
JinYD2018·2024-09-08 07:28

JAVA/数据监控：如何在前端上监听到RabbitMQ发送消息

Simple(orStreaming)TextOrientatedMessagingProtocol，简单(流)文本定向消息协议，它提供了一个可互操作的连接格式，允许STOMP客户端与任意STOMP消息代理（Broker
JAVA炭烧·2024-09-08 07:27

Kafka高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解

首先producer往broker发送消息时，采用batch的方式即批量而非一条一条的发送，这种方式可以有效降低网络IO的请求次数，提升性能。此外这些批次消息会"暂存"在缓冲池中，避免频繁的GC问题。
大数据学习与分享·2024-09-08 05:12

20240902软考架构-------软考96-100答案解析

A.伺服对象（Servant）B.对象适配器（ObjectAdapter）C.对象请求代理（ObjectRequestBroker）D.适配器激活器（AdapterActivator）答案：A解析：伺服对象
杨诚实·2024-09-06 22:45

Kafka Broker处于高负载状态（例如消息处理量大或系统资源不足），无法及时响应消费者的请求

Causedby:org.apache.kafka.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity-0couldbedetermined。出现这个错误的原因是Kafka消费者在尝试获取分区(activity-0)的位置信息时，超时了。在60秒内无法确定该分区的最新
战族狼魂·2024-09-06 22:42

Kafka 如何保证消息不丢失

1、生产者1.1丢失原因：kafka生产端异步发送消息后，不管broker是否响应，立即返回，伪代码producer.send(msg)，由于网络抖动，导致消息压根就没有发送到broker端；kafka
阳光倾洒·2024-09-06 15:55

Kafka 如何保证数据不丢失？不重复

缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
优秀后端工程师·2024-09-06 15:23

Kafka-设计原理

ControllerLeader-PartitionRebalance消息发布机制HW与LEO日志分段ControllerKafka核心总控制器Controller：在Kafka集群中会有一个或者多个broker
姜希成·2024-09-06 07:59

SpringBoot整合Kafka

启动服务器kafka服务器的功能相当于RocketMQ中的broker，kafka运行还需要一个类似于命名服务器的服务。在kafka安装目录中自带一个类似于命名服务器的工具，叫做
ITBOY_ITBOX·2024-09-05 15:42

Kafka

/kafka-console-producer.sh--broker-listip:9092--topictopicTest/opt/kafka_2.
墨咖·2024-09-05 04:58

Kafka学习

1、kafka集群配置①需要提前配置zookeeper环境②配置环境变量，与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb·2024-09-04 16:48

Kafka~Kafka命令行参数使用教程

一、kafka-topics.sh1.参数参数描述–bootstrap-server连接的KafkaBroker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题
飞Link·2024-09-04 15:14

kafka ---- producer与broker配置详解以及ack机制详解

一、producer配置1、bootstrap.serverskafkabroker集群的ip列表，格式为：host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf·2024-09-04 15:41

消息确认过程及死信队列说明

消息确认的过程ACK_MODE前面已经说过，消息的确认有三种模式：ACK_TYP虽然Client端指定了ACK模式，但是在Client与broker在交换ACK指令的时候,还需要告知ACK_TYPE，ACK_TYPE
追梦@Java·2024-09-04 08:51

Kafka

broker：一个独立的kafka服务实例，多个broker组成一个集群。topic：生产者发送到特定的topic、消费者订阅特定的topic。partition：1个to
人才瘾大·2024-09-02 12:21

消息中间件：深入理解 Kafka 的核心架构与组件解析

本文将深入解析Kafka的核心架构及其各个组成部分，包括Broker、主题、分区、生产者、消费者、消费者组、Zookeeper、日志、偏移量，以及Leader-Follower机制。
upgrador·2024-09-01 09:33

Spark(46) -- SparkStreaming整合kafka数据源

1.回顾Kafka可以看我前面kafka文章核心概念图解Broker：安装Kafka服务的机器就是一个brokerProducer：消息的生产者，负责将数据写入到broker中(push)Consumer
erainm·2024-09-01 03:26

SQLServer -ServiceBroker

1.ServiceBroker简介直接把文档原话copy过来吧：SQLServiceBrokerisoneofthebestrecentfeaturesinSQLServer2005becauseitmakesitpossibletowritequeuingandmessage-basedapplications.WithServiceBroker
神毓逍遥-·2024-08-31 13:24

2024面试题

消息队列什么是消息队列：消息队列是在消息的传输过程中保存消息的容器，用于接收消息并以文件的方式存储，一个消息队列可以被一个也可以被多个消费者消费，包含以下3元素：Producer：消息生产者，负责产生和发送消息到Broker
远飞的梦·2024-08-31 12:21

使用 Shell 脚本管理 RocketMQ 服务：启动、停止与状态检查

本文将介绍如何使用Shell脚本来管理RocketMQ的NameServer、Broker和Dashboard服务，并提供相应的脚本示例和说明。
heromps·2024-08-31 00:57

大数据实训笔记7：kafka

Producer：消息生产者，就是向kafkabroker发消息的客户端。Consumer：消息消费者，向kafkabroker取消息的客户端。
Roslin_v·2024-08-29 19:14

SpringBoot配置多个kafka配置

这里只配置两个因为我在本地启动了两个kafka，所以bootstrap-servers这里分别指向两个不同端口的kafka地址几个属性详细解释：acks#acks=0：设置成表示producer完全不理睬leaderbroker
fastjson_·2024-08-29 11:55

Apache Druid安装部署手册

确保存在HIstorical中是自平衡的2.Overlord监控MiddleManager处理和控制数据加载进druid集群；对分配给MiddleManager的摄取任务和协调segments的发布负责3.Broker
长了手的兔子精·2024-08-29 03:30

(Kafka源码四)生产者发送消息到broker

通过上章对缓存池的介绍，我们可以知道生产者会先将消息批次对象放入RecordAccumulator的双端队列中，当满足一定条件时消息才发送至broekr，本文将从源码角度分析当达到什么条件才发送消息，以及生产者对broker
vibag·2024-08-28 12:15

java springboot 集成activeMQ（保姆级别教程）

javaspringboot集成activeMQ1.配置信息spring:#配置消息队列activemq:broker-url:tcp://127.0.0.1:61616user:adminpassword
大白菜程序猿·2024-08-27 03:48

doris跨hdfs集群迁移数据

官网-数据备份步骤一，在dorisA集群执行：CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"hdfs://xx.xx.xx.xx
州周·2024-08-27 00:27

【MQTT协议与IoT通信】MQTT协议的使用和管理

MQTT协议的使用和管理目录引言MQTT协议概述什么是MQTTMQTT的工作原理MQTT协议的关键特性轻量级与高效性发布/订阅模式质量服务等级(QoS)持久会话安全性MQTT协议的使用方法设置MQTTBroker
爱技术的小伙子·2024-08-26 13:38

flink 状态参数设置

状态中的数据，确定参数的具体含义kafka的代码：发送两个key值，一秒发送一次for(inti=0;isource=KafkaSource.builder().setBootstrapServers("broker
陪你一起捡蛋壳·2024-08-26 13:36

rocketmq： broker集群之间的brokerName命名是否可以一致。

今天回顾了下broker与nameserver之间建立连接之后30S一次的心跳测试源码和创建topic过程中broker主动推送topicConfig到Nameserver的源码（实际上心跳测试调用的方法和推送创建
飞向天空的鱼·2024-08-25 10:18

《Apache Kafka 实战》笔记 - 7.5.2 分区重分配

目标实践分区的重新分配，先搭建3个节点（broker1,broker2,broker3），在其上创建2个topic，然后新加入2个节点，重新分配这2个topic的分区。
SlowGO·2024-08-24 12:11

Kafka-之控制器（Controller选举、leader选举）

kafka控制器管理着整个集群中分区以及副本的状态，控制器的选举需要依赖于Zookeeper，在kafka集群启动的时候，会在ZK中创建一个临时节点(EPHEMERAL)/controller，在每个Broker
稳哥的哥·2024-08-24 02:31

Spring Boot使用MQTT与硬件设备进行交互

对于这种情况，MQTT的服务端（Broker）需要在服务器上安装和配置，硬件设备和Java应用程序（SpringBoot）通过该Broker进行消息的发布和订阅。
吴思伟·2024-08-23 16:56

Java整合MQTT 控制设备开关

在这个场景中，设备（如风扇）可以作为MQTT客户端，连接到MQTT代理（Broker），而控制设备的Java应用同样作为客户端发布控制消息。
吴思伟·2024-08-23 16:56

RocketMQ-Topic创建

手动创建我们打开控制台，有一个主题的table，点击新增这里创建Topic分为集群模式，和Broker模式，二者区别如下集群模式：该模式下创建的Topic是指当前集群下，所有的Broker中的Queue
程序员劝退师-TAO·2024-08-22 19:20

3. MQTT协议的架构

1.2代理（Broker）代理是消息中介，负责接收发布者的消息并将其
昱晏·2024-08-22 09:24

RAG与LLM原理及实践（14）---- Python + MinIO + Kafka进阶

目录背景根因分析配置构造创建network构造zookeeper构造kafka参数构造原理解析图解全过程解析工具使用kafkacat查看brokerpython实现pythonsend+kafkarecvpython
PhoenixAI8·2024-08-21 20:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他