Kafka权威指南第46页

Flink 自定义Avro序列化(Source/Sink)到kafka中

前言环境所依赖的pom文件 org.apache.avro avro 1.8.2 org.apache.flink flink-scala_2.12 1.10.1

大数据老哥·2023-12-04 16:47

Redis5新特性-stream

Stream队列Redis5.0最大的新特性就是多出了一个数据结构Stream，它是一个新的强大的支持多播的可持久化的消息队列，作者声明RedisStream地借鉴了Kafka的设计。

kk_0910·2023-12-04 14:56

Redis队列详解（springboot实战）

前言MQ应用有很多，比如ActiveMQ,RabbitMQ,Kafka等，但是也可以基于redis来实现，可以降低系统的维护成本和实现复杂度，本篇介绍redis中实现消息队列的几种方案，并通过springboot

book多得·2023-12-04 14:11

一款Kafka可视化Web界面管理工具：CMAK

使用过KafKa集群的人都知道，要记住KafKa的命令对于新手确实比较难，所以一般都会寻找能在页面操作的管理工具。

testerzhang·2023-12-04 14:35

kafka3.6.0部署

部署zkhttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1.tar.gztar-xfapache-zookeeper-3.9.1.tar.gz-C/appscd/apps/&&ln-sapache-zookeeper-3.9.1zookeeper修改配置```bas

inner222·2023-12-04 13:04

kafka反序列化错误处理

当消费者发生反序列化失败时会导致消费者偏移量不会向后移动，而且海量的错误日志会将磁盘写满，因此需要针对此类错误进行手动处理ConcurrentKafkaListenerContainerFactoryfactory

SongJingzhou·2023-12-04 12:07

kafka的详细安装部署

introduceKafka是一个分布式流处理平台，主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发，现在由ApacheSoftwareFoundation维护和开发。

我的麦子熟了。·2023-12-04 12:34

搭建大型分布式服务（三十六）SpringBoot 零代码方式整合多个kafka数据源

系列文章目录文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、测试一下五、小结前言让我们来看一下网上是怎样使用SpringBoot整合kafka数据源的，都存在哪些痛点？

hanyi_·2023-12-04 11:14

SpringBoot批量获取Kafka消息（一）

导读：通过本文可以学习到SpringBoot整合Kafka、逐条消费Kafka消息、批量收取Kafka消息以及SpringBoot整合EmbeddedKafka进行无需启动外部kafka-server的单元测试

hanyi_·2023-12-04 11:12

SpringBoot批量获取Kafka消息（二）

导读：通过本文可以学习到SpringBoot整合Kafka、逐条消费Kafka消息、批量收取Kafka消息以及SpringBoot整合EmbeddedKafka进行无需启动外部kafka-server的单元测试

hanyi_·2023-12-04 11:12

28 主题管理

1.如何删除主题执行kafka-topics脚本，删除操作是异步的，执行完脚本只是把主题标记为已删除2.删除主题失败可能原因：副本所在broker宕机了待删除主题的部分分区还在迁移解决方法：手动删除zk

ZyyIsPig·2023-12-04 08:09

基于hadoop下的Kafka分布式安装

简介Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性、可靠性、实时性和灵活性等优点。它能够支持每秒数百万条消息的传输，并且可以通过增加节点来增加吞吐量和存储容量。

necessary653·2023-12-04 08:37

29 kafka动态配置

为什么需要动态配置线上运行的kafkabroker修改配置需要重启的话，影响比较大。

ZyyIsPig·2023-12-04 08:06

【译】Industry Paper: Kafka versus RabbitMQ

今天和大家分享一篇关于Kafka和RabbitMQ对比的论文，该论文是诺基亚贝尔实验室（NokiaBellLabs）发表的工业界论文，系统阐述了二者的区别，可以帮助大家在发布订阅系统选型上提供帮助。

seasame711·2023-12-04 07:26

惊了消息中间件合集：MQ（ActiveMQ/RabbitMQ/RocketMQ）+Kafka+笔记

附面试思维导图：额，有点不知所措，于是乎小编就想着做一次消息中间件的专题，归类整理了MQ（ActiveMQ/RabbitMQ/RocketMQ）+Kafka等的纯手绘知识体系图、面试以及相关的学习笔记。

南方葵籽·2023-12-04 07:55

多线程高并发，spring整合kafka消费

spring知识点大全·2023-12-04 07:55

（ActiveMQ/RabbitMQ/RocketMQ）+Kafka笔记，这份神仙笔记,让我佩服的五体投地

额，有点不知所措，于是乎小编就想着做一次消息中间件的专题，归类整理了MQ（ActiveMQ/RabbitMQ/RocketMQ）+Kafka等的纯手绘知识体系图、面试以及相关的学习笔记。

Java可可·2023-12-04 07:55

深入剖析Kafka--Producer篇

转自：https://blog.csdn.net/szwandcj/article/details/76796459背景Kafka诞生于Linkedin，以可靠性和巨量吞吐著称，网上清一色将它归为消息队列

_宇宙浪子_·2023-12-04 07:25

kafka简介

特点高吞吐量：单机每秒几百MB的读写消息持久化高扩展性高可靠性支持多消费者（这个是比较重要的特点）拓扑结构Broker：Kafka集群包含一个或多个服务器，这种服务器被称为brokerProducer:

码蹄疾·2023-12-04 07:25

应该在同一个Kafka主题中放入几种事件类型吗？

采用ApacheKafka等流平台，有个很重要的问题是：将使用哪些主题？特别是，如果要将一堆不同的事件作为消息发布到Kafka，是将它们放在同一主题中，还是将它们拆分为不同的主题？

javarrr·2023-12-04 07:25

SpringBoot整合Kafka

SpringBoot整合Kafka文章目录SpringBoot整合Kafka下载与安装创建topic，测试生产消费程序SpringBoot整合Kafka导坐标做配置做客户端下载与安装下载地址：https

shall_zhao·2023-12-04 07:54

Kafka 的起源和背景

ApacheKafka是一个分布式流处理平台，被广泛用于构建实时数据流应用程序和大数据处理系统。本文将深入探讨Kafka的起源、设计原则以及它在大数据领域中的重要作用。

晓之以理的喵~~·2023-12-04 07:54

深入理解 Kafka 集群搭建与管理

ApacheKafka作为分布式流处理平台的核心，其集群搭建与管理是确保高可用性和高性能的关键。

晓之以理的喵~~·2023-12-04 07:42

Kafka 的特点和优势

ApacheKafka作为一款分布式流处理平台，以其独特的特点和卓越的优势成为实时数据处理领域的瑰宝。本文将深入研究Kafka的各项特点和优势，并通过详实的示例代码展示其在不同场景下的强大应用。

晓之以理的喵~~·2023-12-04 07:12

Kafka 架构深度解析：生产者（Producer）和消费者（Consumer）

ApacheKafka作为分布式流处理平台，其架构中的生产者和消费者是核心组件，负责实现高效的消息生产和消费。本文将深入剖析Kafka架构中生产者和消费者的工作原理、核心概念以及高级功能。

晓之以理的喵~~·2023-12-04 07:12

zookeeper+kafka+ELK+filebeat集群

zookeeper工作机制：2、zookeeper主要作用：3、zookeeper特性：4、zookeeper的应用场景：5、领导者和追随者：zookeeper的选举机制二、zookeeper安装部署：三、消息队列：kafka1

koeda1（粉丝冲刺一个亿）·2023-12-04 07:11

03 数仓平台 Kafka

kafka概述定义Kafka是一个开源的分布式事件流平台（EventStreamingPlantform），主要用于大数据实时领域。

kk_io·2023-12-04 04:17

调度中心集群参考

总体思路利用kafka单播模式：开启一个定时任务利用kafka广播模式：关闭某个定时任务实现代码WcsTimerManager类packagecom.isoftstone.hig.wmsck.adapters.jd.common.timermanager

PeepSoul·2023-12-04 04:05

Maxwell数据库数据采集-大数据week12-DAY1-Maxwell

数据库数据实时采集1、Maxwell简介2、MysqlBinlog介绍2.1Binlog简介2.2Binlog的日志格式3、Mysql实时数据同步方案对比4、开启Mysql的Binlog5、Maxwell安装部署6、kafka

低调的小哥哥·2023-12-04 02:44

zookeeper集群+kafka集群

Kafka3.0之前依赖于zookeeperZookeeper开源，分布式的架构，提供协调服务（apache项目）基于观察者模式设计的分布式服务管理架构存储和管理数据，分布式节点上的服务接受观察者的注册

2301_79410672·2023-12-04 02:08

Kafka原理深入解析

前言为什么要学习使用kafka？kafka到底能够为我们的系统来带什么？带着问题，我们才能去思考，去尝试寻找解决的方案。

MaAidan·2023-12-04 00:52

Kafka 集群增加节点（Broker）

初始化新节点准备三台新节点，分别安装相同版本kafka应用，并复制原集群配置进行修改。启动三台节点观察是否加入集群成功。迁移topic分区查看topic在哪些分区上sh.

天空海阔linan·2023-12-03 23:38

Kafka __consumer_offsets 占用磁盘空间过大处理

下班后接到线上告警，Kafka磁盘空间超过80%；急需处理；真开心呀首先登录机器查看Kafka日志目录，定位到__consumer_offsets分区文件占用71G数据，历史文件未清除；原因Kafka中用于保存消费者消费位移的主题

天空海阔linan·2023-12-03 23:37

初识RocketMQ

1、简介RocketMQ是阿里巴巴在2012年开源的消息队列产品，用Java语言实现，在设计时参考了Kafka，并做出了自己的一些改进，后来捐赠给Apache软件基金会，2017正式毕业，成为Apache

清爽的暗之妖刀0369·2023-12-03 23:22

Kafka Eagle 可视化工具简单介绍

KafkaEagle可视化工具作用：监控Broker、Topic、Consumer、Cluster、Zookeeper、ConsumerGroups、Metrics（指标统计）等相关信息。

笔头还没烂·2023-12-03 21:37

Zookeeper集群+kafka集群

Zookeeper集群+kafka集群：Kafka3.0之前依赖于zookeeperzookeeper是一个开源分布式的架构，提供协调服务（Apache项目）基于观察者模式涉及的分布式服务管理架构主要作用是

wutong0708·2023-12-03 20:27

初识scala

为什么要用scala大数据很多框架是用scala写的，如：saprk、kafka、flink代码简洁多范式：面向对象编程（抽象现实世界）和函数式编程（编程简洁）兼容java环境并发模式使用Actor，可以简化编程

松松土_0b13·2023-12-03 18:19

kafka到hbase API

QQ图片20200511215405.pngimportjava.utilimportcom.ybq.consumer.myutils.{ConnectionInstance,HbaseUtil,PropertiesUtil}importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase.{HBaseConfigura

故里良田·2023-12-03 16:37

大数据基础设施搭建 - 业务数据同步策略

梳理需要全量同步的业务表1.2Sqoop:MySQLToHDFS1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表2.2Maxwell:MySQLToKafka2.2.1

m0_46218511·2023-12-03 16:42

聊聊 Kafka：Producer 源码解析

一、前言前面几篇我们讲了关于Kafka的基础架构以及搭建，从这篇开始我们就来源码分析一波。

老周聊架构·2023-12-03 16:47

flink+kafka的端到端一致性

上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。

另存為·2023-12-03 14:03

阿里面试：分析为什么B+树更适合作为索引的结构以及索引原理

mysql的B+树索引查找使用了二分查找，redis跳表也使用了二分查找法，kafka查询消息日志也使用了二分查找法，二分查找法时间复杂度O(logn);在MySQL中，主要有四种类型的索引，分别为：B-Tree

倾听铃的声·2023-12-03 13:43

kafka架构师4-图解kafka源码2

1.1.如何处理响应消息？0；11：00~0；30：00上节内容NetworkClient.poll方法response.request().callback().onComplete(response);Sender#completeBatch方法里面：//TODO核心代码把异常的信息也给带过去了//我们刚刚看的就是这儿的代码//里面调用了用户传进来的回调函数//回调函数调用了以后//说明我们的

fat32jin·2023-12-03 13:46

大数据技术之Kafka：一篇文章带你学会Kafka

大数据技术之Kafka：一篇文章带你学会Kafka第1章Kafka概述1.1消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，

星川皆无恙·2023-12-03 13:29

docker启动kafka failed to update metadata after %s sec

原因分析设置kafka连接max_block_ms是否太小，连接超时遇到的问题解决kafka连接问题，需要在kafkayml文件或启动命令中添加inside和outside配置，如下图示例：environment

one_8274·2023-12-03 12:18

2023_Spark_实验二十三：Kafka的安装与基本操作

Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考：zookeeper单机安装与配置集群可参考：zookeeper的集群安装二

pblh123·2023-12-03 12:17

Kafka常用术语

名词解释Broker节点：一个Kafka节点就是一个Broker，一个和多个Broker可以组成一个Kafka集群Topic主题：Kafka根据Topic对消息进行归类，发布到Kafka集群的每套消息都需要指定一个

xuxigifxfh·2023-12-03 09:48

消息对列MQ

消息队列优点1.实现系统解耦2.实现异步调用3.流量削峰缺点1.系统可用性降低2.提高系统的复杂度3.数据一致性问题Kafka概述一个分布式消息发布订阅系统，一个分布式的日志提交系统。

xuxigifxfh·2023-12-03 09:18

Kafka常见面试题

如何防止消息丢失？发送端：ack设置为-1或副本数，默认副本全部同步才会认为发送成功接收端：对接收到的数据进行备份，定期进行检查对执行失败的数据重新执行；选择手动提交offset，对执行失败的数据不提交offset。如何防止消息的重复消费？在消费者端对数据进行幂等校验，禁止一定时间内出现相同含义的数据；或添加分布式锁。如何做到顺序消费？对获取到的数据进行再次排序如何解决消息积压的问题？1.添加新的

xuxigifxfh·2023-12-03 09:45

（四）Kafka 消费者

你那是什么调调·2023-12-03 09:28

推荐频道

Kafka权威指南