【Kafka】

kafka的基本使用

kafka3.0的基本使用一、kafka基本使用1.启动kafka服务zookeeper+kafka的使用进入kafka/bin目录下./kafka-server-start.sh-daemon..
柔弱的富po·2025-07-20 05:00

Kafka入门使用教程

1.前言1.1.什么是消息队列消息队列（MQ）是消息传递中间件解决方案的一个组件，旨在支持独立的应用和服务之间的信息交换。消息队列按发送顺序存储“消息”（由应用所创建、供其他应用使用的数据包），直到使用方应用能够处理它们为止。这些消息安全地等待接收方应用做好准备，因此，即使网络或接收方应用出现问题，消息队列中的消息也不会丢失。1.2.为什么用消息队列1.2.1.解耦生产者（客户端）发送消息到MQ中
·2025-07-20 05:00

Paimon对比基于消息队列（如Kafka）的传统实时数仓方案的优势

弊端：数据重复->优势：Paimon主键表原生去重原方案弊端(Kafka)问题:消息队列（Kafka）是仅支持追加（Append-Only）的日志流。
lifallen·2025-07-20 05:58

Java大厂面试实录：从电商场景到AIGC的深度技术拷问

小曾：秒杀嘛，主要是高并发，我一般会用SpringBoot搭后端，数据库用Redis做缓存，消息队列用Kafka异步处理订单。具体技术细节……呃，好像没细想。
remCoding·2025-07-19 23:37

Java大厂面试实录：从Spring Boot到AI微服务架构的深度拷问

小曾：（搓手）额……我会用SpringCloudAlibaba，搞个Nacos做服务注册，网关用Zuul，然后订单服务用SpringBoot+Redis缓存，秒杀请求走消息队列，比如Kafka吧，异步处理
remCoding·2025-07-19 23:37

Java大厂面试实录：从Spring Boot到AI微服务架构的层层递进

小曾（自信）：我参与过电商平台的订单系统，用了SpringBoot+SpringCloudAlibaba，数据库是MySQL+Redis缓存，消息队列用Kafka处理异步任务。
remCoding·2025-07-19 23:07

Java大厂面试实录：从Spring Boot到AI微服务架构的深度技术挑战

我们使用了SpringCloudGateway做网关路由，服务间通过Kafka异步通信，并引入Redis缓存热点数据。面试官：很好，能具体说说你们如何解决订单超卖问题的吗
remCoding·2025-07-19 23:37

分布式系统中优化ELK日志采集性能

引入缓冲队列：通过Redis或Kafka作为日志缓冲池，缓解Logstash或Elasticsearch的突发流量压力，避免数据丢失（如Logstash异常时Redis暂存数据
Alex艾力的IT数字空间·2025-07-19 14:34

kafka--基础知识点--0

kafka架构https://cloud.tencent.com/developer/article/230789219张图生产者架构消息的磁盘存储文件结构https://cloud.tencent.com
Chasing__Dreams·2025-07-19 13:25

Kafka 时间轮深度解析：如何O(1)处理定时任务

相比于传统的基于优先队列（PriorityQueue）的定时器（其添加/删除操作的时间复杂度为O(logn)），时间轮可以实现近乎O(1)的添加和删除操作，这在需要管理成千上万个定时任务的场景下（例如Kafka
lifallen·2025-07-19 12:23

Kafka深度解析：架构、原理与应用实践

Kafka深度解析：架构、原理与应用实践引言在现代分布式系统架构中，消息队列作为系统解耦、异步通信的核心组件发挥着至关重要的作用。
JouJz·2025-07-19 10:03

Java大厂面试实录：谢飞机的电商场景技术问答（Spring Cloud、MyBatis、Redis、Kafka、AI等）

Java大厂面试实录：谢飞机的电商场景技术问答（SpringCloud、MyBatis、Redis、Kafka、AI等）本文模拟知名互联网大厂Java后端岗位面试流程，以电商业务为主线，由严肃面试官与“
·2025-07-12 18:05

Java大厂面试故事：谢飞机的互联网音视频场景技术面试全纪录（Spring Boot、MyBatis、Kafka、Redis、AI等）

Java大厂面试故事：谢飞机的互联网音视频场景技术面试全纪录（SpringBoot、MyBatis、Kafka、Redis、AI等）互联网大厂技术面试不仅考察技术深度，更注重业务场景与系统设计能力。
来旺·2025-07-12 18:03

php 高并发下日志量巨大，如何高效采集、存储、分析

2.主流架构方案一、分布式日志采集架构[应用服务器(PHP等)]|v[日志采集Agent（如Filebeat、Fluentd、Logstash）]|v[消息队列/缓冲（如Kafka、Redis、RabbitMQ
贵哥的编程之路(热爱分享 为后来者)·2025-07-12 18:02

Kafka系列之：Dead Letter Queue死信队列DLQ

Kafka系列之：DeadLetterQueue死信队列DLQ一、死信队列二、参数errors.tolerance三、创建死信队列主题四、在启用安全性的情况下使用死信队列更多内容请阅读博主这篇博客：Kafka
快乐骑行^_^·2025-07-12 17:28

消息中间件巡检

除资源使用情况外，消息中间件RocketMQ、kafka还可以巡检哪些？
搬砖小常·2025-07-12 17:57

全面探索Kafka：架构、应用与流处理

Kafka：企业级消息系统与流处理平台的深度解析ApacheKafka作为分布式流处理平台，广泛应用于大数据处理和实时分析领域。
·2025-07-12 09:33

探索实时流处理的未来：Kafka Streams 深度指南

探索实时流处理的未来：KafkaStreams深度指南项目介绍欢迎进入KafkaStreams：实时流处理的世界！这不仅仅是一本书，更是一个通往流处理领域深层奥秘的门户。
秋或依·2025-07-12 09:00

【Kafka专栏 13】Kafka的消息确认机制：不是所有的“收到”都叫“确认”！

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
·2025-07-12 07:46

Kafka系列之：安装具有安全认证的kafka-2.8.2分布式集群

Kafka系列之：安装具有安全认证的kafka-2.8.2分布式集群一、下载Zookeeper3.7.1和Kafka2.8.2二、解压Zookeeper3.7.1和Kafka2.8.2三、安装Zookeeper3.7.1
快乐骑行^_^·2025-07-11 21:11

rdkafka线程过多_我是如何处理大并发量订单处理的 KafKa部署总结

今天要介绍的是消息中间件KafKa，应该说是一个很牛的中间件吧，背靠Apache与很多有名的中间件搭配起来用效果更好哦，为什么不用RabbitMQ，因为公司需要它。
weixin_39574928·2025-07-11 21:38

【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last

1.美图问题与【Flink】Flink写入kafka报错FailedtosenddatatoKafka:Expiring4record(s)for20001mshaspassed重复了。2.背景
九师兄·2025-07-11 21:37

【Flink】flink Kafka报错 : Failed to send data to Kafka: This server is not the leader for that topic-pa

1.背景出现这个问题的背景请参考：【Kafka】FailedtosenddatatoKafka:Expiring30record(s)forxxx732453mshaspassedsincelast[2020
九师兄·2025-07-11 21:37

【kafka】在Linux系统中部署配置Kafka的详细用法教程分享

✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，PyQt5和Tkinter桌面应用开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，云原生K8S，Prometheus监控，数据分析，Django
景天科技苑·2025-07-11 20:37

C/C++ 使用librdkafka库实现的生产者

InstallingprebuiltpackagesOnMacOSX：brewinstalllibrdkafkaOnDebianandUbuntu：aptinstalllibrdkafka-devOnRedHat
·2025-07-11 20:36

使用 Docker 搭建 Python（Flask/CUDA AI）开发环境——AI教你学Docker

Flask/CUDAAI）开发环境及常用中间件配置详解本指南适用于用Docker快速搭建Python（FlaskWeb应用或包含CUDA的AI开发环境）开发环境，并集成常用中间件服务如MySQL、Redis、Kafka
·2025-07-11 20:36

Kafka如何做到消息不丢失

一、三种消息传递语义（MessageDeliverySemantics）：核心是“消息被消费处理的次数”Kafka的三种传递语义本质上描述的是“一条消息从生产到最终被消费者处理完成，可能出现的次数”，这由生产者的消息写入可靠性和消费者的
野老杂谈·2025-07-11 20:05

各种消息队列经典问题解决方案——消息丢失、顺序消费、消息积压、重复消费

1、Kafka消息丢失解决方案对于Kafka这个消息队列来说，消息丢失的环节有下面的几个地方：1、消息生产者发送消息给Broker的时候数据丢失2、Broker异常导致Broker中的数据丢失3、
EyeDropLyq·2025-07-11 16:34

Kafka浅学

Kafka应用场景？异步解耦流量消锋Kafka消息队列特点？Kafka吞吐量高：因为他存储数据时，磁盘顺序存储，磁盘的顺序存储速度很快。
文文Tao·2025-07-10 13:09

详解Kafka重平衡机制详解

Kafka的重平衡机制（Rebalance）是确保消费者组内成员动态变化（如新成员加入、现有成员退出或崩溃、订阅主题分区数变化）时，分区所有权能合理、公平地重新分配的核心机制。
·2025-07-10 13:07

vivo Pulsar 万亿级消息处理实践（3）-KoP指标异常修复

Pulsar是Apache基金会的开源分布式流处理平台和消息中间件，它实现了Kafka的协议，可以让使用KafkaAPI的应用直接迁移至Pulsar，这使得Pulsar在Kafka生态系统中更加容易被接受和使用
·2025-07-10 11:47

kafka 每条消息只会保存到某一个分区

也就是说Kafka的消息组织方式实际上是三级结构：主题-分区-消息。主题下的每条消息只会保存在某一个分区中，而不会在多个分区中被保存多份。
scan724·2025-07-10 04:06

Kafka的优势有哪些？经常应用在哪些场景？

Kafka的优势有哪些？经常应用在哪些场景？Kafka的优势比较多如多生产者无缝地支持多个生产者、多消费者、基于磁盘的数据存储、具有伸缩性、高性能轻松处理巨大的消息流。
·2025-07-10 04:36

kafka 收不到消息_Kafka 常见问题汇总

Kafka常见问题汇总1.Kafka如何做到高吞吐、低延迟的呢？这里提下Kafka写数据的大致方式：先写操作系统的页缓存(PageCache),然后由操作系统自行决定何时刷到磁盘。
weixin_39554434·2025-07-10 04:36

kafka partition分配_走近kafka-Partition分配与消息可靠性

Kafka的高可用源于其多个副本(replication)。拥有多个副本，那么带来的问题就是数据怎么同步。我们都知道数据是存放在partition物理目录下的文件里面。
编辑部小李·2025-07-10 04:06

Kafka最新版本（3.x/4.x）性能优化

在Kafka的最新版本（截至2025年，主流为3.x/4.x）中，性能优化需要从集群架构、Broker配置、Topic设计、生产者/消费者调优、存储层优化等多个维度综合考虑。
·2025-07-10 03:35

ClickHouse高频面试题

，存在哪些不足4、ClickHouse有哪些表引擎5、介绍下Log系列表引擎应用场景共性特点不支持6、简单介绍下MergeTree系列引擎7、简单介绍下外部集成表引擎ODBCJDBCMySQLHDFSKafkaRabbitMQ8
野老杂谈·2025-07-10 03:05

1-Kafka介绍及常见应用场景

Kafka介绍ApacheKafka是一个开源的分布式流处理平台，最初由LinkedIn开发，后捐赠给Apache软件基金会。它被设计用于高吞吐量、低延迟、可水平扩展地处理实时数据流。
sql2008help·2025-07-10 03:05

kafka单个生产者向具有多个partition的topic写数据（写入分区策略）

整理知识点如下生产者写入消息到topic，kafka将依据不同的策略将数据分配到不同的分区中1.轮询分区策略2.随机分区策略3.按key分区分配策略4.自定义分区策略1.1轮询分区策略默认的策略，也是使用最多的策略
·2025-07-10 03:35

kafka系列 ---安装kafka+SASL配置

二、使用步骤1.引入库2.读入数据总结前言这篇主要讲如何安装kafka+配置SASL安全验证，之前网上一些文章要么没有配置SASL，要么本身存在一些问题，这里主要把正确的配置方案放上来，后续会讲讲遇到的一些问题和该如何解决
心有栖·2025-07-10 03:34

Kafka 数据倾斜原因、影响与权威解决方案

一、数据倾斜的概念在Kafka环境中，数据倾斜是指数据在主题（Topic）的各个分区（Partition）之间分布不均匀的状况。
·2025-07-10 03:34

Flume到Kafka且均分到多个partition

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录说明情况解决方法说明情况Flume向kafka发布数据时，发现kafka接收到的数据总是在一个
小学僧来啦·2025-07-10 03:03

kafka如何让消息均匀的写入到每个partition

在Kafka中，要实现消息均匀写入每个partition，核心是通过合理的分区分配策略让消息在partition间均衡分布。
野老杂谈·2025-07-10 03:32

基于 Java 的电商业务秒杀商品高并发、数据一致性、系统性能等多个方面设计方案

消息队列：使用RabbitMQ或Kafka异步处理订单，削峰填谷。数据库：MySQL存储订单和商品信息，使用事务保证数据一致性。分布式锁：使用Redis
一杯冰美式_丶·2025-07-10 02:52

如何确保Kafka集群的高可用？

今天分享关于【如何确保Kafka集群的高可用？】面试题。希望对大家有帮助；如何确保Kafka集群的高可用？超硬核AI学习资料，现在永久免费了！
java1234_小锋·2025-07-10 01:18

3-Kafka常用指令

Kafka常用指令大全一、Topic管理命令功能示例创建Topic指定分区和副本数kafka-topics.sh--create--bootstrap-serverlocalhost:9092--topictest
sql2008help·2025-07-09 23:08

Kafka生产者的初始化

把用户配置的KafkaProducer参数，赋值给KafkaProducer构造函数中userProvidedConfigs变量。获取clientId。获取用户配置的分区器。
夏日彩虹·2025-07-09 23:06

Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步

因为公司业务需求要将mysql的数据实时同步到hive中，在网上找到一套可用的方案，即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式，因为是首次搭建，所以暂时使用伪分布式的搭建方案
是小南啊_-·2025-07-09 23:36

【Kafka】Kafka Producer 分区-05

【Kafka】KafkaProducer分区-051.分区的好处2.分区策略2.1默认的分区器DefaultPartitioner3.自定义分区器1.分区的好处（1）便于合理使用存储资源，每个Partition
boy快快长大·2025-07-09 23:06

各服务日志: Grok正则解析

各类日志样例服务类型日志格式Java应用：如Kafka/ES[2025-04-2911:21:12,395]INFO[Logpartition=ck-1,dir=/opt/kafka_2.13-2.8.1
根哥的博客·2025-07-09 14:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他