kafka系列

Kafka系列之：Dead Letter Queue死信队列DLQ

Kafka系列之：DeadLetterQueue死信队列DLQ一、死信队列二、参数errors.tolerance三、创建死信队列主题四、在启用安全性的情况下使用死信队列更多内容请阅读博主这篇博客：Kafka

快乐骑行^_^·2025-07-12 17:28

Kafka系列之：安装具有安全认证的kafka-2.8.2分布式集群

Kafka系列之：安装具有安全认证的kafka-2.8.2分布式集群一、下载Zookeeper3.7.1和Kafka2.8.2二、解压Zookeeper3.7.1和Kafka2.8.2三、安装Zookeeper3.7.1

快乐骑行^_^·2025-07-11 21:11

kafka系列 ---安装kafka+SASL配置

文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言这篇主要讲如何安装kafka+配置SASL安全验证，之前网上一些文章要么没有配置SASL，要么本身存在一些问题，这里主要把正确的配置方案放上来，后续会讲讲遇到的一些问题和该如何解决。一、安装kafka官网的quickstart有最新安装教程，想安装最新版可以去官网，目前我使用的是kafka2.6.0。这里的所有操作都是在

心有栖·2025-07-10 03:34

Spring for kafka系列——1、快速浏览

先决条件：您必须安装并运行ApacheKafka。然后，您必须将SpringforApacheKafka（SpringKafka）JAR及其所有依赖项放在类路径上。最简单的方法是在构建工具中声明依赖关系。如果您没有使用SpringBoot，请在项目中将Springkafka-jar声明为依赖项。org.springframework.kafkaspring-kafka3.3.7使用SpringBo

虾条_花吹雪·2025-07-08 02:05

Kafka系列之：不删除Kafka Topic，清理Kafka Topic中的数据

Kafka系列之：不删除KafkaTopic，清理KafkaTopic中的数据一、需求二、Java删除Topic中数据三、python删除Topic中数据一、需求需要清理topic中的数据但是不能通过删除

快乐骑行^_^·2025-07-07 07:13

Kafka系列之高频面试题

基础简介特点：高吞吐、低延迟：kafka每秒可以处理几十万条消息，延迟最低只有几毫秒，每个Topic可以分多个Partition，ConsumerGroup对Partition进行Consumer操作可扩展性：Kafka集群支持热扩展持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失容错性：允许集群中节点失败（若副本数量为n，则允许n-1个节点失败）高并发：支持数千个客户端同时读

johnny233·2025-06-14 22:10

Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数

Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数一、分区重分配场景二、分区重分配方法三、分区重分配示例四、分区重分配原理五、优先副本的选举六、优先副本的实现七、复制限流八、修改副本数一

快乐骑行^_^·2025-05-12 06:19

Kafka系列之：计算kafka集群topic占的存储大小

Kafka系列之：计算kafka集群topic占的存储大小topic存储数据格式统计topic存储大小定时统计topic存储大小topic存储数据格式单位是字节大小size_bytes{directory

快乐骑行^_^·2025-04-19 10:47

Kafka(Go)教程(三)---Kafka 相关概念介绍

探索云原生·2025-04-03 21:49

Kafka系列教程 - Kafka 运维 -8

1.Kafka单点部署1.1.下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。(opensnewwindow)解压到本地：$tar-xzfkafka_2.13-3.9.0.tgz$cdkafka_2.13-3.9.0现在您已经在您的机器上下载了最新版本的Kafka。1.2.启动服务器以KRaft启动，不要需要zookeeper生成集群UU

长河·2025-04-03 21:47

Kafka 之自定义消息拦截器【Kafka 拦截器】

Kafka系列文章传送门Kafka简介及核心概念讲解SpringBoot整合Kaf

码农爱java·2025-03-25 16:37

Kafka系列之—向Kafka 写入数据（四）

一，创建Kafka生产者1.1必选的三个属性1.1.1bootstrap.servers指定broker的地址清单，不需要包含所有的broker地址，生产者会从给定的broker里找到其它broker的信息，建议最少提供两个broker的信息。1.1.2key.serializerbroker希望接收到的消息的键和值都是字节数组。1.1.3value.serializer指定的类会将值序列化。1.

葛旭朋·2025-03-19 22:57

Kafka系列之：记录一次源头数据库刷数据，造成数据丢失的原因

Kafka系列之：记录一次源头数据库刷数据，造成数据丢失的原因一、背景二、查看topic日志信息三、结论四、解决方法一、背景源头数据库在很短的时间内刷了大量的数据，部分数据在hdfs丢失了理论上debezium

快乐骑行^_^·2025-03-01 18:12

Spring Boot 整合 Kafka 详解

Kafka系列文章传送门Kafka简介及核心概念讲解SpringBoot集成Kafka引入Kafka依赖在项目的pom.xml文件中引入Kafka依赖，如下：org.springframework.cloudspring-cloud-starter-stream-kafka3.1

码农爱java·2025-02-18 15:17

【kafka系列】生产者

目录发送流程1.流程逻辑分析阶段一：主线程处理阶段二：Sender线程异步发送核心设计思想2.流程关键点总结重要参数一、核心必填参数二、可靠性相关参数三、性能优化参数四、高级配置五、安全性配置（可选）六、错误处理与监控典型配置示例关键注意事项发送流程序列化与分区：消息通过Partitioner选择目标分区（默认轮询或哈希），序列化后加入RecordAccumulator缓冲区。批次合并：Sende

漫步者TZ·2025-02-17 02:21

【kafka系列】broker

目录Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程Broker处理消费者消息的核心流程关键点总结Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程接收请求Broker的SocketServer接收来自生产者的ProduceRequest（基于Reactor网络模型）。请求解析与验证解析请求头（Topic、P

漫步者TZ·2025-02-17 02:21

【kafka系列】如何选择消息语义？

目录业务权衡如何选择消息语义？业务权衡维度At-Most-OnceAt-Least-OnceExactly-Once消息丢失风险高低无消息重复风险无高无网络开销最低（无重试）中等（可能重试）最高（事务+协调）适用场景可容忍丢失的实时数据流不允许丢失的日志采集金融交易、精准统计如何选择消息语义？At-Most-Once：优先性能与低延迟，接受数据丢失（如实时监控）。At-Least-Once：优先可

漫步者TZ·2025-02-17 02:49

【kafka系列】Exactly Once语义

目录1.Exactly-Once语义的定义2.Kafka实现Exactly-Once的机制3.端到端Exactly-Once示例场景描述3.1生产者配置与代码3.2消费者配置与代码4.异常场景与Exactly-Once保障场景1：生产者发送消息后宕机场景2：消费者处理消息后宕机场景3：Broker宕机5.关键实现细节6.总结1.Exactly-Once语义的定义Exactly-Once（精确一次）

漫步者TZ·2025-02-16 19:57

Kafka系列之：定位topic只能保存最新数据的原因

Kafka系列之：定位topic只能保存最新数据的原因一、背景二、定位排查方向三、深入排查一、背景kafkatopic保存的数据少，topic只能保存最新的数据二、定位排查方向能想到的定位排查方向：topic

快乐骑行^_^·2025-02-10 17:59

Kafka系列之：Kafka存储数据相关重要参数理解

Kafka系列之：Kafka存储数据相关重要参数理解一、log.segment.bytes二、log.retention.bytes三、日志段四、log.retention.check.interval.ms

快乐骑行^_^·2025-02-09 18:22

Kafka系列8：一网打尽常用脚本及配置，宜收藏落灰！

前言通过前面7篇文章的介绍，小伙伴们应该对Kafka运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率，帮助我们快速定位一些线上问题，比如查看部分Partition堆积机器IP等操作，这篇文章总结了一些平时常用到的一些Kafka命令及常用配置，方便日后查阅（该文章中提到的相关配置会持续更新）。文章概览常用脚本及命令总结。常用配置及说明。常用命令总结一.kafka-topic.sh脚本相

assasinSteven·2025-02-09 18:15

Kafka 之事务消息

Kafka系列文章传送门Kafka简介及核心概念讲解SpringBoot整合Kafka详解Kafka@KafkaListener注解的详解及使用Kafka客户端工具使用分享【offse

码农爱java·2025-02-08 04:09

kafka系列-日志存储

kafka中的消息，是以主题进行归类的，每个主题分为一个或多个分区，主题和分区是逻辑上的概念。消息在发送时，会按照规则追加到其中一个分区中。分区里的每一条消息，都会被分配一个唯一的序列号，也就是偏移量（offset）分区是逻辑上的概念，往分区追加消息时，其实是写到日志（Log）中，为了防止日志过大，kafka还有日志分段（LogSegment）的概念，Log在物理上是以文件夹的形式存储，每个Log

chayangdz·2025-01-30 10:38

Kafka系列5-Kafka 常见面试题

文章目录一.常见面试题1.1Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？1.2Kafka中的HW、LEO等分别代表什么？1.3Kafka中是怎么体现消息顺序性的？1.4Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？1.5Kafka生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么

只是甲·2025-01-22 01:19

Kafka系列之：kafka命令详细总结

Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host

快乐骑行^_^·2024-09-14 08:55

kafka系列之：使用python消费kafka Topic数据

kafka系列之：使用python消费kafkaTopic数据一、创建kafkaConsumer三、查看分区四、查看分区信息五、查看当前消费的Topic六、获取当前消费者可消费的偏移量七、获取当前Topic

快乐骑行^_^·2024-08-30 16:37

Kafka系列之：删除kafka Topic和元信息

Kafka系列之：删除kafkaTopic和元信息一、kafka删除topic二、删除kafkatopic在zookeeper中的元信息一、kafka删除topic确定不再使用Kafka中的一个主题，最好的使用方式是将其删除

最笨的羊羊·2024-08-26 08:06

Kafka系列之：kafka集群管理工具Know Streaming安装详细步骤

Kafka系列之：kafka集群管理工具KnowStreaming安装详细步骤一、安装JDK-11二、安装mysql数据库详细步骤三、安装Elasticsearch数据库详细步骤四、安装KnowStreaming

最笨的羊羊·2024-02-09 15:41

Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []

Kafka系列之：UnexpectedhandshakerequestwithclientmechanismPLAIN,enabledmechanismsare[]一、完整报错二、错误原因三、解决方法一

最笨的羊羊·2024-02-09 15:41

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是

最笨的羊羊·2024-02-09 15:09

Kafka系列（二）将消息数据写入Kafka系统--生产者【异步发送、同步发送、单线程发送、多线程发送、配置生产者属性、自定义序列化、自定义主题分区】

Kafka系列发送消息到Kafka主题了解异步模式了解同步模式线程发送消息的步骤生产者用单线程发送消息生产者用多线程发送消息配置生产者属性保存对象的各个属性一序列化序列化一个对象序列化对象的存储格式自己实现序列化的步骤

_蓝天IT_·2024-02-05 05:06

Kafka系列（一）【消息队列、Kafka的基本概念、Kafka的工作机制、Kafka可满足的需求、Kafka的特性、Kafka的应用场景】

kafka系列一一、消息队列1.消息队列的来源2.什么是消息队列3.消息队列主要有哪些作用二、Kafka的基本概念代理、生产者、消费者、消费者组主题、分区、副本、记录三、了解Kafka的工作机制-生产消息

_蓝天IT_·2024-02-04 06:57

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

Kafka系列之：不重启kafka集群设置kafkatopic数据保留时间一、kafkatopic数据保留3天的bash命令二、查看kafka删除数据日志三、批量设置上千个topic保留3天数据1.构建

最笨的羊羊·2024-01-31 07:57

【Kafka系列】生产级集群参数配置

目录1.概述2.Bocker端参数2.1存储相关配置2.2Zookeeper相关配置2.3Brocker连接相关配置2.4Topic管理相关配置2.5数据存留相关配置3.Topic级别参数4.JVM参数5.操作系统参数6.小结1.概述本文将从Bocker端参数、Topic级别参数、JVM端参数、操作系统级别参数分别介绍Kafka集群参数应该怎么配置。文中提到的这些参数都很重要，请读者仔细阅读理解，

Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka副本机制详解

目录1.前言2.副本定义3.副本角色4.In-syncReplicas（ISR）5.Unclean领导者选举（UncleanLeaderElection）6.小结1.前言所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及

Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka线上集群部署方案

目录前言操作系统磁盘磁盘容量带宽小结前言Kafka线上集群部署方案怎么做？既然是集群部署，那必然就要有多个Kafka节点机器，且需要仔细地考量各种因素，结合自身的业务需求而制定。下面分别从操作系统、磁盘、磁盘容量和带宽等方面探讨一下。操作系统首先我们先看看要把Kafka安装到什么操作系统上。说起操作系统，可能你会问Kafka不是JVM系的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不

Hyatt1024·2024-01-30 23:13

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。

超越不平凡·2024-01-21 15:27

Kafka系列（二）、架构原理及存储机制

目录架构原理架构工作流程控制器存储机制kafka高性能的秘密Kafka系列：kafka2.4.1单机版部署及使用kafka监控系统kafkaeagle安装使用滴滴开源的kafka-manager编译及部署使用

王义凯_Rick·2024-01-20 08:56

大数据 - Kafka系列《一》- Kafka基本概念

目录1.1什么是kafka1.2Kafka可以用来做什么1.3kafka的特点1.高吞吐量、低延迟2.可扩展性3.持久性、可靠性4.容错性5.高并发1.4Kafka的基本架构1.Producer:生产者2.Broker：中间组件，存储数据Topic：主题。类似于表的概念partition：分区。类似于hbase里面的region的概念3.Consumer：消费者4.Zookeeper1.1什么是k

王哪跑nn·2024-01-18 15:05

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。想要更有性价比地和java程序进行结合，因此了解了kafka。但是本人阅读了kafka地官网，觉得可阅读性并不是很高，当然是个人认为，就是界面做的就不是很舒服。简介简介一下kafkaStreamKafkaStream的特点KafkaStream

happystudy_neu·2024-01-17 07:32

Kafka系列(三）

本章内容继前两章1，2知识点后，开始结合java实际代码开发进行实践。其中三将讲述kafka座位消息中间件的代码样例，四将讲述kafka的stream流式计算处理。消息中间件首先说明一下，需要在虚拟机里面配置kafka，而kafka又依赖于zookeeper，它的一些元数据等都存储在zookeeper里。如果需要了解如何安装kafka可以评论，这里不作为重点。代码pom依赖org.springfr

happystudy_neu·2024-01-16 19:07

Kafka系列（一）

内容该系列主要是复习期间，通过浏览资料记录的一些笔记和重点，用于日常学习和学习后的总结。组件概念broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能zookeeperZK用来管

happystudy_neu·2024-01-16 10:20

kafka系列(二）

本章承接kafka一内容，文章在本人博客主页都有，可以自行点击浏览。幂等性请求执行多次，但执行的结果是一致的。如果，某个系统是不具备幂等性的，如果用户重复提交了某个表格，就可能会造成不良影响。例如：用户在浏览器上点击了多次提交订单按钮，会在后台生成多个一模一样的订单。kafka幂等性在生产者生产消息时，如果出现retry时，有可能会一条消息被发送了多次，如果Kafka不具备幂等性的，就有可能会在p

happystudy_neu·2024-01-16 10:48

Kafka(Go)教程(一)---通过docker-compose 安装 Kafka

lililidahaoren·2024-01-11 08:43

Kafka系列之：kafka.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression

Kafka系列之：kafka.errors.UnsupportedCodecError:UnsupportedCodecError:Librariesforsnappycompression一、完整错误二

最笨的羊羊·2024-01-03 13:18

Kafka系列3-Kafka架构

一.工作流程Kafka中消息是以topic进行分类的，Producer生产消息，Consumer消费消息，都是面向topic的。image.pngTopic是逻辑上的改变，Partition是物理上的概念，每个Partition对应着一个log文件，该log文件中存储的就是producer生产的数据，topic=N*partition；partition=logProducer生产的数据会被不断的

只是甲·2023-12-31 19:15

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数一、创建KafkaAdminClient二、获取kafka集群topic元信息三、获取每个topic的名称、分区数

最笨的羊羊·2023-12-15 23:29

Kafka系列 - 生产者客户端架构以及3个重要参数

整体架构整个生产者客户端由两个县城协调运行，这两个线程分别为主线程和Sender线程（发送线程）。主线程中由KafkaProducer创建消息，然后通过可能的拦截器，序列化器和分区器之后缓存到消息累加器（RecordAccumulator）。Sender线程负责从RecordAccumulator中获取消息并将其发送到kafka中。RecordAccumulator主要用来缓存消息以便Sender

胡桃姓胡，蝴蝶也姓胡·2023-11-25 17:38

kafka系列-入门篇之基础概念

定义官方对kafka的定义，kafka是一个分布式流平台。听起来让人感觉很陌生，实际使用中，你会觉得kafka是一个发布-订阅的消息队列平台。它和我们熟知的一些消息队列中间件比起来，在功能上更加强大，性能上也是非常高效的。特性可扩展性，kafka搭建在分布式集群服务器上，支持水平无限扩展。容错性，kafka将数据副本存放在多台服务器上，避免服务器故障影响运行。高吞吐量，使用6块7200转SATA的

马各马它·2023-11-25 17:33

Kafka系列 - Kafka一篇入门

Kafka是一个分布式流式处理平台。很多分布式处理系统，例如Spark，Flink等都支持与Kafka集成。Kafka使用场景消息系统：Kafka实现了消息顺序性保证和回溯消费。存储系统：Kafka把消息持久化到磁盘，相比于其他基于内存的系统而言，有效的降低了数据丢失的风险。Kafka的消息持久化和多副本机制使得我们可以把Kafka作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为永久

胡桃姓胡，蝴蝶也姓胡·2023-11-25 17:01

推荐频道