kakfa

Kakfa - Producer机制原理与调优

Producer是Kakfa模型中生产者组件，也就是Kafka架构中数据的生产来源，虽然其整体是比较简单的组件，但依然有很多细节需要细品一番。
Survivor001·2023-09-18 08:09

Mac电脑安装Zulu Open JDK 8 使用 spring-kafka 消费不到Kafka Partition中的消息

一、现象描述使用Mac电脑本地启动spring-kakfa消费不到Kafka的消息，监控消费组的消息偏移量发现存在Lag的消息，但是本地客户端就是拉取不到，通过部署到公司k8s容器上消息却能正常消费！
后起小生·2023-09-16 08:20

【kafka】Kafka中的高水位和Leader Epoch

概述在kakfa的安装章节https://blog.csdn.net/margu_168/article/details/132695162中，在后面查看topic详情的时候我们可以看到有Partition
margu_168·2023-09-16 03:09

多图详解 Kafka 原理与架构，建议收藏！

来源：https://www.cnblogs.com/bainianminguo/p/12247158.html作者：bainianminguo一、kafka概述1.1、定义Kakfa是一个分布式的基于发布
夜空_2cd3·2023-09-15 14:02

kakfa 3.5 kafka服务端处理消费者客户端拉取数据请求源码

一、服务端接收消费者拉取数据的方法二、遍历请求中需要拉取数据的主题分区集合，分别执行查询数据操作，1、会选择合适的副本读取本地日志数据(2.4版本后支持主题分区多副本下的读写分离)三、会判断当前请求是主题分区Follower发送的拉取数据请求还是消费者客户端拉取数据请求1、拉取数据之前首先要得到leaderIsrUpdateLock的读锁2、readFromLocalLog读取本地日志数据四、读取
胖墩的IT·2023-09-07 04:15

kafka 3.5 主题分区的Follower创建Fetcher线程从Leader拉取数据源码

Kakfa集群有主题，每一个主题下又有很多分区，为了保证防止丢失数据，在分区下分Leader副本和Follower副本，而kafka的某个分区的Leader和Follower数据如何同步呢？
胖墩的IT·2023-09-07 04:41

kafkaException

kafkaException：classorg.apache.flink.shade.org.apache.kakfa.common.serialization.ByteArrayDeserializerisnotaninstanceoforg.apache.kakfa.common.serialization.Deserializer
arbalest1080·2023-09-06 08:40

【知识整理】基于Springboot的Kafka消费者动态操作

执行部分操作时，如停止服务替换镜像、执行特殊业务处理等，需要先停止Consumer接收Kafka消息，待处理完成后再开启Consumer接续接收Kafka消息为并发消费Kafka消息，可通过配置spring.kakfa.listener.concurency
·2023-09-04 14:02

【知识整理】基于Springboot的Kafka消费者动态操作

执行部分操作时，如停止服务替换镜像、执行特殊业务处理等，需要先停止Consumer接收Kafka消息，待处理完成后再开启Consumer接续接收Kafka消息为并发消费Kafka消息，可通过配置spring.kakfa.listener.concurency
·2023-09-04 14:27

kafka学习笔记

kafka是一个高吞吐，分布式，基于发布/订阅的消息系统，最大的特性就是可以实时的处理大量的数据以满足各种需求场景：日志收集，离线和在线的消息消费，等等2、kakfa的基础架构？
材料小菜鸟·2023-08-29 12:53

利用SpringBoot的AOP自定义注解实现kafka分布式事务

背景在springboot中，只要引入了kafka的springboot依赖，并且在配置文件中加入了事务id前缀，spring就能够在事务管理器中自动注入kakfa的事务，在代码中只要使用spring提供的
九万里编程·2023-08-28 06:21

从零开始搭建Kafka集群遇到的问题

文章目录安装kafka下载kafka_2.12-3.1.0.tgz使用Xshell将文件传入虚拟机解压启动kafka使用kakfa自带的zookeeper修改kafka配置启动kafka使用kafka创建主题查看主题生产消息消费消息搭建
lolxxs·2023-08-25 06:42

Kafka学习笔记（十）kakfa消费组和重平衡

版权声明：本文为转载文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/weixin_39468305/article/details/106846814摘要：ConsumerGroup指多个消费者实例组成一个组来共同消费一组主题，它可谓大名鼎鼎，不仅可以加速消费端TPS，还具有扩展性和容错性等优势。而组成员之间如何达成一致
每天进步一奈奈·2023-08-22 07:23

消息队列：Kafka入门学习笔记

文章目录前言主流消息队列的对比Nsq和kafka走势强劲一、Kakfa是什么？Kafka定义？Kafka名字来源？kafka有哪些术语？二、Kafka解决了什么技术场景或者业务场景？
左手一只猫·2023-08-14 16:46

记一次Kakfa重复消费解决过程

起因：车联网项目开发，车辆发生故障需要给三个系统推送消息，故障上报较为频繁，所以为了不阻塞主流程，采用了使用kafka。消费方负责推送并保存推送记录，但在一次压测中发现，实际只发生了10次故障，但是推送记录却有30多条。问题排查，发现是因为其中一个系统宕机，导致往这个系统推送消息时，一直连接超时，导致每条消息的推送时长被拉长。而且kafka消息拉取参数max-poll-records设置了500，
hanKongbin·2023-08-12 09:12

flink+kafka+doris+springboot集成例子

目录一、例子说明1.1、概述1.1、所需环境1.2、执行流程二、部署环境2.1、中间件部署2.1.1部署kakfa2.1.1.1上传解压kafka安装包2.1.1.2修改zookeeper.properties2.1.1.3
青春不流名·2023-08-05 09:52

Kakfa异常分析-Magic v0 does not support record headers

最近测试跟我说，某个应用消费不到交易的消息。登录到KafkaBroker看下了下日志，发现一直在报错：java.lang.IllegalArgumentException:Magicv0doesnotsupportrecordheadersatorg.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRec
攀山客·2023-07-28 13:35

Kakfa 入门到起飞 - Kafka 遭大家诟病了？因为啥？啥是再平衡？

Kafka遭大家诟病了？因为啥？啥是再平衡？再均衡是Kafka被大家诟病最多的一个点，再平衡是非常麻烦的一个事，那么就让我们来看看到底什么是再平衡呢？再平衡其实就是一个协议，它规定了消费者组下的消费者如何分配主题下的分区比如：topic有100个分区，一个消费者组内有20个消费者，在coordinator的控制下，一个消费者分配到5个分区，那么这个分配的过程就叫再平衡那么什么时候会发生再平衡呢？有
FightingITPanda·2023-07-27 05:56

Kafka 入门到起飞系列

Kafka入门到起飞系列[Kakfa为什么牛？为什么这么火？有什么优势呢？]
FightingITPanda·2023-07-27 05:26

kafka 2.1.1 java的消费者客户端如何获取数据源码

KafkaConsumer一、kakfa消费者暴露给业务系统获取数据的方法1首先从缓冲区队列取数，没有数据则请求服务端来获取数据1.1循环从队列中取数，给到空或者已被提取的nextInLineRecords
胖墩的IT·2023-07-25 08:24

kafka 2.8 如何选择启用kraft还是ZooKeeper(选择逻辑源码，不涉及到kraft的实现)

这里用kakfa3.0版本做源码演示首先看一下kafka-server-start.sh中的最后一行exec$base_dir/kafka-run-class.sh$EXTRA_ARGSkafka.Kafka
胖墩的IT·2023-07-20 07:58

kakfa 2.4.1 java的生产者client发送消息到服务端源码

KafkaProducer一、消息添加到缓冲区的主函数1、在缓冲区队列最后一个批次对象数据中追加数据1.1先从缓冲区队列中取出最后一个批次对象1.2判断是否有足够的空间，有足够的空间执行追加逻辑，没有则返回null2、在缓冲区队列末尾新增一个批次对象(追加失败才执行新增)2.1尝试新增一个批次对象，并且把新增的批次对象放入到缓冲区队列末尾二、sender后台线程1、sender类实现了Runnab
胖墩的IT·2023-07-20 07:58

kakfa 3.0 创建topic流程(源码)

文章目录1、通过create命令到组装创建topic需要的数据流程(scala部分)2、创建一个客户端，此客户端通过队列多线程异步发送创建topic的请求(1)runnable.call(队列和多线程执行)(2)getCreateTopicsCall(创建发送创建topic的requestBuilder)3、服务端创建topic的请求(handleCreateTopicsRequest）（1）这里
胖墩的IT·2023-07-20 07:57

kakfa 2.4.1 java的生产者client在发送消息前分配消息属于哪个分区源码

标题是否不是很熟悉，面试不得必问啊KafkaProducer1、客户端暴露出来可以让开发人员调用的发送消息的方法send2、send实际调用私有方法doSend获取集群信息(并且得到这条数据写哪个分区)2.1获取kafka服务端集群某个topic的元数据方法waitOnMetadata2.2根据消息是否指定分区或者实现Partitioner接口的实现类计算分区1、客户端暴露出来可以让开发人员调用的
胖墩的IT·2023-07-20 07:25

Kakfa - 多副本架构

文章目录基本架构Kafka多副本架构概念优点缺点图解多副本架构小结基本架构Kafka多副本架构概念Kafka是一个高性能、分布式的消息系统，被广泛应用于各种场景中。在Kafka中，多副本架构是保证数据可靠性的重要手段之一。多副本架构指的是将同一个主题（Topic）的数据同时存储在多个Broker上。当某个Broker发生故障时，系统可以从其他Broker上获取数据，从而保证数据的可靠性和高可用性。
小小工匠·2023-07-19 10:33

Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践

基本特性2.新旧ConsumerAPI的使用问题3.负载不均衡原因诊断以及问题解决4.本身网络带宽限制问题5.适当配置单次poll的消息总量和单次poll()的消息大小6.恶劣网络环境下增加超时时间配置序言KakfaMirrorMaker
小昌昌的博客·2023-06-24 09:21

kakfa 常见错误（长期更新）

kafka版本2.13-3.40一、消费者相关1.1消费组1.1.1查看消费组命令找不到消费组1.2主题1.2.1kafka默认主题_consumer_offsets不小心删除二、发布者相关三、SpringBoot连接相关3.1消费者相关3.1.1连接报错3.1.1.2消费报错一、消费者相关1.1消费组1.1.1查看消费组命令找不到消费组详情：运行以下命令后，控制台界面无任何输出kafka-con
timi先生·2023-06-20 06:55

多图详解 Kafka 原理与架构，建议收藏！

来源：https://www.cnblogs.com/bainianminguo/p/12247158.html标题：kafka概念扫盲作者：bainianminguo一、kafka概述1.1、定义Kakfa
架构文摘·2023-06-18 22:25

多图详解 Kafka 原理与架构

来源：https://www.cnblogs.com/bainianminguo/p/12247158.html标题：kafka概念扫盲作者：bainianminguo一、kafka概述1.1、定义Kakfa
公众号:肉眼品世界·2023-06-18 22:25

Kafka原理篇：图解kakfa架构原理

今天我们来深入讲解Kafka的架构和实现原理。[码哥]将从架构和细节入手，以生动的图深入讲解Kafka的实现原理。我想很多同学之前可能已经看过很多Kafka原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自己又学习到了各种“吊炸天”的技术。但很多同学往往是不觉明厉，把文章结合面试题背一背还能应付一下半吊子面试官。可以遇到老司机面试官，或是进入实战，却对很多概念和实现摸棱两可。所以，[码哥
架构师小秘圈·2023-06-18 22:24

Helm3-安装Kakfa

前言本文介绍如何在k8s集群中使用helm来创建kafka，供大家参考学习。准备阿里云K8S集群安装helm安装Kafka我们首先添加一下helm库，并且搜索到kafka$helmrepoaddbitnamihttps://charts.bitnami.com/bitnami$helmsearchrepokafkaNAMECHARTVERSIONAPPVERSIONDESCRIPTIONbitna
·2023-06-18 15:42

Helm3-安装Kakfa

前言本文介绍如何在k8s集群中使用helm来创建kafka，供大家参考学习。准备阿里云K8S集群安装helm安装Kafka我们首先添加一下helm库，并且搜索到kafka$helmrepoaddbitnamihttps://charts.bitnami.com/bitnami$helmsearchrepokafkaNAMECHARTVERSIONAPPVERSIONDESCRIPTIONbitna
·2023-06-07 22:56

flume面经

source-》put-》channel-》take-》sinksource：tirdirSource支持断点续传channel：file、mem、kafka（与kafka的兼容性做的非常好，在flume1-》kakfa
February13·2023-06-07 01:06

Hudi集成Flink-写入方式

130142601)1.2、创建测试表1.2.1、创建mysql表1.2.2、将binlog日志写入kafka1、使用mysql-cdc监听binlog2、kafka作为sink表3、写入sink表1.2.3、将kakfa
宝哥大数据·2023-04-21 00:31

Kafka 优化问题

1.如何防止消息丢失Kakfa本身配置层面replication.factor默认值1创建kafka的topic时，设置副本数，根据broker数量设置，通常设置成3min.insync.replicas
naki_bb·2023-04-20 07:34

面试题百日百刷-kafka篇(五)

请看到最后就能获取你想要的,接下来的是今日的面试题：1.请简单描述一下kafka中消费者的负载均衡机制**Kakfa的消费者负载均衡规定,在一个消费者组内,监控某一个topic的消费者的数量最多和这个topic
·2023-04-19 22:04

java获取快捷方式指向的路径，分享面经

资料一：《MySql学习导图》《MySql核心笔记》《MySql性能调优笔记》由于篇幅有限，相关资料主要以图片的形式展示给大家总结：绘上一张Kakfa架构思维大纲脑图（xmind）其实关于Kafka，能问的问题实在是太多了
专业教学分布式·2023-04-17 15:14

spring-kafka源码阅读(1)

SPRING-KAFKA源码最近看了一点spring-kafka的东西,看到网上相关的东西比较少,就想着自己整理一把.相关介绍kakfakafkaspring-kafkaspring-kafkaspring-kafkademoproducer
那就太谢谢你了·2023-04-14 04:35

KAFKA思维导图集合

kafka入门最详细教程kafka脑图kafkakafkacustomerkafkakakfa架构图kafka结构图2kafka集群存储逻辑Kafka原理与实现kafkaProducer架构Kafka权威指南
damonfly·2023-04-13 09:37

Spring Boot 中使用@KafkaListener并发批量接收消息的完整代码

kakfa是我们在项目开发中经常使用的消息中间件。由于它的写性能非常高，因此，经常会碰到读取Kafka消息队列时拥堵的情况。
·2023-04-10 01:37

springboot集成kafka（docker）

springboot集成kafka一篇看懂kakfadocker部署kafka集群前提拉镜像搭建kafka集群编写docker-compose.yml启动kafka集群查看是否成功搭建springboot
暴走十八步·2023-04-09 19:25

kafka源码阅读

1、疑问点：kakfa网络模型kafka协议&基础数据结构kafka分区&副本逻辑kafka文件读写kafkaoffset和highWatermark原理kafkaleader&follower数据同步
shandadadada·2023-04-09 16:15

图解Kafka 架构及原理

来源：https://www.cnblogs.com/bainianminguo/p/12247158.html作者：bainianminguo一、kafka概述1.1、定义Kakfa是一个分布式的基于发布
瞎胡扯1·2023-04-09 02:12

Java开发全套学习！阿里大牛亲手操刀微服务架构实战

面试官最爱问的Kakfa，基础+进阶+高级，疯狂轰炸！Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
公众号编程进阶路·2023-04-08 22:19

2021金九银十Java大厂面试题来袭！Java校招面试指南

针对这些的同学，在这分享总结的Java面试的高频面试题（包括了Java集合，JVM，并发与多线程，Spring，MyBaits，微服务，Dubbo，Kakfa，中间件，Redis,数据库，设计模式等），
Java小麦·2023-04-03 14:42

kafka集群参数调优

在意识这个问题后，专门腾出时间来总结一下kakfa参数配置的调优，以充分发挥
菩提天珠·2023-04-02 01:21

flink sql作业报错Timeout of 60000ms expired before the position for partition xxx could be determined

新增流作业，将kafka集群的数据通过flinksql写入hdfs,所有的flink作业均出现订阅的topic某个分区超时；且topic的partition数量等于flink可用的slot数原因：  消费不到kakfa
但行益事莫问前程·2023-03-30 04:51

java面试问项目中遇到的问题，涨知识

针对这些的同学，在这分享总结的Java面试的高频面试题（包括了Java集合，JVM，并发与多线程，Spring，MyBaits，微服务，Dubbo，Kakfa，中间件，Redis,数据库，设计模式等），
A程序员导师·2023-03-29 22:23

数据同步工具 debezium

Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及KakfaConnect。
猫头木有鹰·2023-03-20 08:33

Kafka集群部署指南

Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了KafkaConnect、KafkaStreams以支持连接其他系统的数据(Elasticsearch、Hadoop等)Kafka
KenTalk·2023-03-19 01:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他