#kafka-broker

【Kafka-3.x-教程】-【六】Kafka 外部系统集成 【Flume、Flink、SpringBoot、Spark】

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:50

【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【二】Kafka-生产者-Producer

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【五】Kafka-监控-Eagle

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:40

【Kafka-3.x-教程】-【七】Kafka 生产调优、Kafka 压力测试

-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker
bmyyyyyy·2024-01-11 06:40

深入浅出kafka-broker相关原理

1、broker管理之leohw含义41}leo：logandoffset每partion收到1条消息都更新自己的offsetleo=offset+1Hw：高水位LEO功能是更新hw，如果follower和leader的leo同步了hw就可以更新hw之前的消息对消费者可见，是commit的2、leo更新42}follwer带上自己的leo去拉副本，更新leader的leo记录3、hw更新43}le
fat32jin·2023-10-30 03:03

Kafka-Broker工作流程

kafka集群在启动时，会将每个broker节点注册到zookeeper中，每个broker节点都有一个controller，哪个controller先在zookeeper中注册，哪个controller就负责监听brokers节点变化，当有分区的leader挂掉时，controller会监听到节点变化，然后去zookeeper中获取isr，选举新的leader，选举的规则是：在isr中存活为前提
青云游子·2023-08-02 17:05

深入浅出kafka-broker相关原理

1、broker管理之leohw含义41}leo：logandoffset每partion收到1条消息都更新自己的offsetleo=offset+1Hw：高水位LEO功能是更新hw，如果follower和leader的leo同步了hw就可以更新hw之前的消息对消费者可见，是commit的2、leo更新42}follwer带上自己的leo去拉副本，更新leader的leo记录3、hw更新43}le
肥猫64·2023-04-08 04:20

kafka-broker数据结构

kafka源码地址：https://github.com/apache/kafka分支：3.0我们启动kafkabroker，通常都是使用kafka-server-start.sh脚本。脚本内部最终是调用了kafka.Kafka的main方法，该类位于kafka项目的core模块。#!/bin/bashif[$#-lt1];thenecho"USAGE:$0[-daemon]server.prop
夏天的清凉·2021-12-03 11:08

kafka-broker处理请求流程

kafka源码地址：https://github.com/apache/kafka分支：3.0kafka-broker处理请求流程.png
夏天的清凉·2021-11-29 17:54

Kafka-Broker

文章目录1.集群成员1.1控制器1.2群组协调器2.副本2.1同步副本In-SyncReplicas(ISR)3.位移主题4.请求处理4.1Reactor模式4.2Reactor在Kafka中的实现4.3请求请求5.物理存储6.高水位（HW）和LaederEpoch6.1高水位机制的实现6.2LeaderEpoch7.Broker的配置参数参考1.集群成员Kafka使用Zookeeper来管理集群
萝卜头柯克船长·2020-09-15 17:56

kafka-broker配置参数详解

1.num.partitions含义：指明了新创建的主题将会有多少个分区数量。**如何选择分区数量？1)：考虑主题吞吐量，100kor1G？2)：单个分区读取数据的最大吞吐量是多少，例如，每个分区一般都会有一个消费者，该消费者写入数据库的速度是每秒50M，那么以为这从一个分区读取数据的速度不需要超过50M/s3)：与2类似的方法估算生产者的吞吐量，不过生产者的吞吐量一般大于消费者4)：broker
Scathon·2020-08-23 02:04

Kafka-broker配置说明

配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。broker.id整数，建议根据ip区分log.dirskafka存放消息文件的路径，默认/tmp/kafka-logsportbroker用于接收producer消息的端口zookeeper.connnectzookeeper连接格式为ip1:port,ip2:port,ip3:portmessage
IT-LeoChen·2020-08-23 01:38

Kafka集群在空载情况下Cpu消耗比较高的问题

平均负载达到,20%,当前是通过Ambari下管理kafka的,a.先停止s5的kafka进程.b.开启s5上kafka的jmx远程监控,kafka的启动命令为:source/usr/hdp/current/kafka-broker
weixin_30457465·2020-07-10 06:47

Kafka partitions 迁移

"topics":[{"topic":"test1"},{"topic":"test2"}],"version":1}'>ready-move-topics.json/usr/hdp/current/kafka-broker
FanoLi·2019-08-02 15:27

kafka-broker默认配置详情（kafka2.0版本,数据来源于kafka官网）

配置参数名参数详细描述参数值类型参数默认值VALIDVALUESIMPORTANCEDYNAMICUPDATEMODEzookeeper.connectZookeeperhoststringstringhighread-onlyadvertised.host.nameDEPRECATED:onlyusedwhenadvertised.listenersorlistenersarenotset.Us
Felix_CB·2018-12-24 18:15

Kafka-broker配置说明

配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。broker.id整数，建议根据ip区分log.dirskafka存放消息文件的路径，默认/tmp/kafka-logsportbroker用于接收producer消息的端口zookeeper.connnectzookeeper连接格式为ip1:port,ip2:port,ip3:portmessage
IT-LeoChen·2014-01-21 15:07

Kafka-broker配置说明

配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。broker.id整数，建议根据ip区分log.dirskafka存放消息文件的路径，默认/tmp/kafka-logsportbroker用于接收producer消息的端口zookeeper.connnectzookeeper连接格式为 ip1:port,ip2:port,ip3:portmessag
chrischen214·2014-01-21 15:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他