kafka

一图全解Kafka在zookeeper中的数据结构

该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新)Kafka中分区副本的分配规则kafka知识图谱：Kafka知识图谱大全kafka管控平台推荐使用滴滴开源的Kafka运维管控平台(戳我呀)
石臻臻的杂货铺·2025-04-06 04:19

【Kafka基础】Kafka高可用集群：2.8以下版本超详细部署指南，运维必看！

ApacheKafka是一个分布式流处理平台，广泛应用于构建实时数据管道和流应用程序。本文将详细介绍如何在三节点集群上部署Kafka2.8以下版本。
IT成长日记·2025-04-06 04:48

【Kafka基础】Docker Compose快速部署Kafka单机环境

1准备工作1.1安装Docker和DockerComposeDocker安装请参考：Docker入门指南：1分钟搞定安装+常用命令，轻松入门容器化！-CSDN博客DockerCompose安装请参考：【dockercompose入门指南】安装与常用命令参数全解析，助你入门compose！_dockercomposer-CSDN博客2编写DockerCompose文件#创建目录并编写docker-c
IT成长日记·2025-04-06 04:18

【Kafka基础】Kafka工作原理解析

ApacheKafka作为当今最流行的分布式消息系统，以其高吞吐、低延迟和高可靠性的特点，成为大数据领域不可或缺的基础设施。
IT成长日记·2025-04-06 04:48

消息中间件对比与选型指南：Kafka、ActiveMQ、RabbitMQ与RocketMQ

目录引言消息中间件的定义与作用消息中间件在分布式系统中的重要性对比分析的四种主流消息中间件概述消息中间件核心特性对比消息传递模型Kafka：专注于发布-订阅模型ActiveMQ：支持点对点和发布-订阅两种模型
敲键盘的小夜猫·2025-04-06 04:47

Kafka 4.0入门到熟练

1、集群部署1.1、JDKcat>>/etc/ansible/playbook/install-jdk.yml>/etc/ansible/playbook/modify_env.yml/sys/kernel/mm/transparent_hugepage/enabledechonever>/sys/kernel/mm/transparent_hugepage/defrag-name:Changep
docsz·2025-04-06 04:47

消息队列之-Kafka

目录消息队列消息队列的使用场景初识KafkaKafka设计思想Kafka消息结构消息发送消息消费Kafka高可用消息备份机制1.基本原理2.ISR（In-SyncReplicas）3.ACK（Acknowledgements
惊醒幡然1·2025-04-06 04:46

【Kafka】Kafka生产者如何实现冥等的？

Kafka的生产者在发送数据到broker，如果broker在收到消息后崩溃或者断开连接，导致生产者没有接收到成功响应，这时会触发重试机制，这种场景下回导致消息的重复。
此木|西贝·2025-04-06 03:11

rabbitmq 消息队列

一、MQ的选择1.KafkaKaika主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输，适合产生大量数据的互联网服务的数据收集业务。
小橘快跑·2025-04-05 17:04

让AI再次伟大-MCP-Client开发指南

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理、AI应用如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2025-04-05 08:08

Debezium日常分享系列之：Debezium3.1版本之增量快照

Debezium3.1版本之增量快照按需快照触发一次临时增量快照触发临时阻塞快照增量快照增量快照过程如何Debezium解决具有相同主键的记录之间的冲突快照窗口触发增量快照使用附加条件运行临时增量快照使用Kafka
快乐骑行^_^·2025-04-05 07:58

异步框架使用loguru和contextvars实现日志按Id输出

需求阐述工作中使用fastStream模块消费kafka事件的时候，遇到以下问题。1.由于main.py模块要用到许多其他模块，main模块，和其他模块都有日志输出。
五指山西·2025-04-05 07:58

kafka监听topic消费_Spring-Kafka（六）—— @KafkaListener的花式操作

消息监听对于Kafka中Topic的数据消费，我们一般都选择使用消息监听器进行消费，怎么把消息监听器玩出花来呢，那就得看看它所实现的功能了。
weixin_39605894·2025-04-05 06:57

springboot集成Kafka

1.搭建就不多说了以后会有篇章2.下载依赖org.springframework.kafkaspring-kafka3.yamlspring:kafka:bootstrap-servers:${KAFKA_BOOTSTRAP_SERVERS
荭色海湾·2025-04-05 06:27

SpringKafka消息消费：@KafkaListener与消费组配置

文章目录引言一、SpringKafka消费者基础配置二、@KafkaListener注解使用三、消费组配置与负载均衡四、手动提交偏移量五、错误处理与重试机制总结引言ApacheKafka作为高吞吐量的分布式消息系统
程序媛学姐·2025-04-05 06:24

kafka消息可靠性传输语义

Kafka提供了多种消息传递语义，以适应不同的业务需求和可靠性要求。以下是Kafka消息传输的可靠性语义及其实现机制：1.AtMostOnce（至多一次）语义：消息可能会丢失，但不会被重复传递。
清风1981·2025-04-04 21:54

Kafka Serverless 基础版与专业版重磅发布！

云消息队列Kafka版基于ApacheKafka构建，提供高吞吐量与高可扩展性的分布式消息队列服务，广泛应用于日志收集、监控数据聚合、流式数据处理及在离线分析等场景，是AI与大数据时代企业数据处理体系的核心组件
·2025-04-04 19:35

Java优质项目推荐

电商平台系统项目特点完整的业务流程多种技术栈整合高并发场景处理分布式架构设计技术栈后端：SpringBoot、SpringCloud、MyBatis-Plus数据库：MySQL、Redis、Elasticsearch消息队列：RabbitMQ/Kafka
爱编程的王小美·2025-04-04 13:31

记录工作中k8s的域名映射问题

lameduck5s2、CoreDNSKubernetes3、hosts配置4、forward五、修改配置文件1、获取当前配置2、修改配置3、应用修改4、回滚一、问题说明1、问题说明：新写的springboot项目集成kafka
节点。csn·2025-04-04 05:34

Kafka(Go)教程(三)---Kafka 相关概念介绍

来自：指月https://www.lixueduan.com原文：https://www.lixueduan.com/post/kafka/03-kafka-introduction/本文为Kafka入门教程
探索云原生·2025-04-03 21:49

Kafka、RocketMQ、Pulsar对比

ApachePulsar、ApacheKafka和ApacheRocketMQ都是流行的分布式消息系统，它们在架构设计、功能特性和适用场景上各有不同。
小诸葛的博客·2025-04-03 21:18

Kafka系列教程 - Kafka 运维 -8

1.Kafka单点部署1.1.下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。
长河·2025-04-03 21:47

python消费datahub_datahub消费数据

有木有大神知道Flink能否消费多个kafka集群的数据？这个问题有人遇到吗?你们实时读取广业务库到kafka是通过什么读的？
weixin_39580042·2025-04-03 21:45

kafka connect，将数据批量写到hdfs完整过程

>>>本文是基于hadoop2.7.1，以及kafka0.11.0.0。kafka-connect是以单节点模式运行，即standalone。
weixin_34162401·2025-04-03 21:45

StructedStreaming消费Kafka数据突然存储不到HDFS

问题描述：StructedStreaming消费Kafka数据存储到HDFS中，以前正常存储，突然就存储不进去了，可以新建文件夹，但是数据写入不进去了。
erainm·2025-04-03 21:12

Kafka消费者——结合spring开发

Kafka消费者端可靠性保证作为消费端，消费数据需要考虑的是：1、不重复消费消息2、不缺失消费消息自动提交offset的相关参数：enable.auto.commit：是否开启自动提交offset功能(
6。·2025-04-03 20:09

spring-kafka消费者源码详解

@EnableKafka注解此注解会import一个类KafkaBootstrapConfiguration，这个类会创建2个bean：KafkaListenerAnnotationBeanPostProcessor
泡泡成长之路·2025-04-03 19:36

Kafka | Kafka中如何实现死信队列&重试队列

当一条消息初次消费失败，消息队列MQ会自动进行消息重试；达到最大重试次数后，若消费依然失败，则表明消费者在正常情况下无法正确地消费该消息，此时，消息队列MQ不会立刻将消息丢弃，而是将其发送到该消费者对应的特殊队列中，这种正常情况下无法被消费的消息称为死信消息（Dead-LetterMessage），存储死信消息的特殊队列称为死信队列（Dead-LetterQueue）。与此对应的还有一个“回退队列
点滴笔记·2025-04-03 19:36

SpringKafka错误处理：重试机制与死信队列

文章目录引言一、SpringKafka错误处理基础二、配置重试机制三、死信队列实现四、特定异常的处理策略五、整合事务与错误处理总结引言在构建基于Kafka的消息系统时，错误处理是确保系统可靠性和稳定性的关键因素
程序媛学姐·2025-04-03 19:33

SpringKafka消息发布：KafkaTemplate与事务支持

文章目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优化总结引言在现代分布式系统架构中，ApacheKafka作为高吞吐量的消息系统，被广泛应用于事件驱动应用开发
程序媛学姐·2025-04-03 15:43

Python 实现消息队列 Kafka 的高效处理

```htmlPython实现消息队列Kafka的高效处理Python实现消息队列Kafka的高效处理Kafka是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。
在线挖坑专业户·2025-04-03 14:35

java面试题解析

容器、多线程、反射、对象拷贝、JavaWeb、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、MyBatis、RabbitMQ、Kafka
java梅洛·2025-04-03 09:01

Kafka和RocketMQ零拷贝对比

在ApacheRocketMQ和ApacheKafka中，零拷贝（ZeroCopy）是一种优化数据传输的技术，旨在减少数据在用户空间和内核空间之间的拷贝，从而提升性能。
小诸葛的博客·2025-04-03 07:18

AI大型语言模型企业级应用开发架构实战：实时数据流处理与推理

本文主要阐述通过使用Kafka作为数据队列中间件，SparkStreaming作为实时数据流处理引擎，以及F
AI天才研究院·2025-04-03 06:08

【消息队列】几个mq组件的对比: redis stream/rabbitmq/rocketmq/kafka

RedisStream：适用于对性能要求高、可靠性要求不高的场景RocketMQ：可靠性高，性能优秀，但官方对go不太友好，sdk缺少很多功能支持RabbitMQ：性能适中，使用较复杂，路由、绑定等操作增加了学习成本Kafka
喝醉的小喵·2025-04-02 21:08

直播预约｜ApsaraMQ x Confluent 云原生 Kafka 线上沙龙

云消息队列Kafka版是基于ApacheKafka构建的全托管服务，依托于阿里云强大的基础设施，对ApacheKafka进行了深度重构，通过存算分离架构、高弹性扩展、云服务深度集成等优化，致力于打造更经济
·2025-04-02 17:11

直播预约｜ApsaraMQ x Confluent 云原生 Kafka 线上沙龙

云消息队列Kafka版是基于ApacheKafka构建的全托管服务，依托于阿里云强大的基础设施，对ApacheKafka进行了深度重构，通过存算分离架构、高弹性扩展、云服务深度集成等优化，致力于打造更经济
·2025-04-02 16:36

当Kafka化身抽水马桶：论组件并发提升与系统可用性的量子纠缠关系

《当Kafka化身抽水马桶：论组件并发提升与系统可用性的量子纠缠关系》引言：一场OOM引发的血案某个月黑风高的夜晚，监控系统突然发出刺耳的警报——我们的数据发现流水线集体扑街。
一辉ComeOn·2025-04-02 04:18

kafka 报错消息太大解决方案 Broker: Message size too large

kafka-configs.sh--bootstrap-serverlocalhost:9092\--alter--entity-typetopics\--entity-namesim_result_zy
sunshine_sean·2025-04-02 04:18

RocketMQ与kafka如何解决消息丢失问题？

本文主要说明RocketMQ和Kafka在解决消息丢失问题时，在生产者、Broker和消费者之间如何解决消息丢失问题。1.RocketMQ如何解决消息丢失问题？  
一个儒雅随和的男子·2025-04-02 04:17

面试八股之消息中间件篇2.1——kafka——Kafka是如何保证消息不丢失？

个人主页：EthanYankang专栏：史上最强八股文||Java项目温馨提示：划到文末发现专栏彩蛋点击这里直接传送本篇概览：详细讲解了Kafka是如何保证消息不丢失？
Ethan Yankang·2025-04-02 04:47

kafka 如何保证消息不丢失，详细讲解

实际应用中遇到了消息丢失的问题，或者正在设计一个高可靠性的系统，需要深入理解Kafka的机制。用户可能是开发人员或者系统架构师，负责维护消息系统的稳定性。
18你磊哥·2025-04-02 04:16

Spring Boot 与 Spring Cloud 深度 Mape 之八】异步通信与解耦：Spring Cloud Stream 整合消息队列 (RabbitMQ/Kafka) 实战

【SpringBoot与SpringCloud深度Mape之八】异步通信与解耦：SpringCloudStream整合消息队列(RabbitMQ/Kafka)实战#SpringCloudStream#消息队列
无眠_·2025-04-02 02:55

关于SpringBoot集成Kafka

关于KafkaApacheKafka是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。它能够处理大量的数据流，具有高吞吐量、可持久化存储、容错性和扩展性等特性。
糖拌西红柿多放醋·2025-04-02 02:51

Springboot最简单的实战介绍 整合kafka-生产者与消费者（消息推送与订阅获取

前言你的努力，终将成就无可替代的自己本科毕业后就一直从事Java开发的工作，和多数人一样，最开始从事crud的工作，看着自己的同学一步一步往上走，自己还是在原地踏步，说实话这不是自己想要的状态。一年半后开始沪漂生活，又摸爬滚打了一年半，薪资基本上在16K。疫情在家开始了系统的学习，目的就是为了进大厂，得到更多的学习机会，也是为了自己到所谓的“35岁”之后，也能在老家恰一口好饭。努力也没有白费，8个
冷る_1234·2025-04-02 01:50

SpringBoot整合Kafka

SpringBoot整合Kafka在现代的分布式系统中，消息队列扮演着至关重要的角色。ApacheKafka作为一款高性能、可扩展的消息队列系统，广泛应用于日志收集、实时数据处理、事件驱动架构等场景。
HPF_99·2025-04-02 01:48

jmeter线程数并发数区别_如何确定Kafka的分区数、key和consumer线程数、以及不消费问题解决...

在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数？
weixin_39860123·2025-04-02 01:17

第4章 Kafka工作机制详解

4.1消息传递三种语义4.1.1消费者atmostonce:消费者fetch消息，然后保存offset，然后处理消息。当消费者保存offset之后，但是在消息处理过程中出现了异常，导致部分消息未能继续处理。那么此后“未处理”的消息将不能被重新fetch到，所以存在丢失数据的情况。想实现“至多一次”的做法是：设置消费者自动提交偏移量，并且设置较小的时间间隔。atleastonce:消费者fetch消
留不住斜阳·2025-04-01 20:42

Kafka架构揭秘：理解Producer、Consumer、Broker和Zookeeper的工作原理

目录Kafka架构揭秘：理解Producer、Consumer、Broker和Zookeeper的工作原理引言1.Kafka的基本架构Kafka的基本工作流程2.Producer（生产者）的工作原理2.1Producer
一碗黄焖鸡三碗米饭·2025-04-01 20:38

Kafka 深度解析：高性能设计、部署模式、容灾机制与 KRaft 新模式

Kafka深度解析：高性能设计、部署模式、容灾机制与KRaft新模式前言一、高性能设计解析1.顺序写磁盘与日志结构存储2.零拷贝技术（Zero-copy）3.批量发送与网络优化4.分区机制与并行处理5.
代码怪兽大作战·2025-04-01 12:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他