kafka那些事

kafka 学习笔记3-传统部署Kraft模式集群——筑梦之路

部署kafka集群规划一般模式下，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。
筑梦之路·2025-01-20 19:10

【kafka】简单运用go语言操作kafka实现生产者和消费者功能的包，confluent-kafka-go和sarama

confluent-kafka-go和sarama对比特性confluent-kafka-gosarama底层实现基于librdkafkaC库完全用Go实现性能高吞吐量、低延迟吞吐量较低，适合常规应用安装依赖需要
{⌐■_■}·2025-01-20 16:17

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka
快乐骑行^_^·2025-01-20 13:42

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中
本旺·2025-01-20 06:01

Hadoop 和 Spark 的内存管理机制分析

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-20 03:27

kafka

Kafka学习之路Kafka必知必会kafka核心原理go操作kafka消息队列之-KafkaKafka分区分配策略或(https://blog.csdn.net/u013256816/article/
宋song一·2025-01-19 20:28

揭秘 Fluss 架构组件

Fluss部署，带领大家部署Fluss环境，体验一下Fluss的功能Fluss整合数据湖的操作，体验Fluss与数据湖的结合讲解了Fluss、Kafka、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
·2025-01-19 19:57

深入探讨Kafka：架构、实现原理与开发实践

深入探讨Kafka：架构、实现原理与开发实践ApacheKafka是一个高性能的分布式流处理平台，广泛应用于实时数据处理、日志收集、消息发布/订阅等领域。
Ceramist·2025-01-19 18:41

9.kafka单实例安装

1.环境信息OSVersionZookeeperVersionUserRHEL7.73.8.0rootkafka官网下载地址：ApacheKafka备注：与在同一台服务器。
小黑要上天·2025-01-19 16:19

Kafka面试夺命连环30问（一）

1、kafka消息发送的流程？Producer创建并配置。发送消息，消息被序列化，并通过配置的分区规则决定发送的分区。Producer发送请求，通过网络将消息发送到相应的Broker。
知否&知否·2025-01-19 07:36

docker部署ELK日志系统+kafka

docker部署ELK日志系统+kafka1.部署elasticsearch#拉取镜像dockerpullelasticsearch:7.6.2#创建文件夹mkdir-p/data/elk/es/config
weixin_50837690·2025-01-19 04:08

基于docker微服务日志ELK+Kafka搭建

ELK是Elasticsearch、Logstash、Kibana的简称Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVAAPI等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程
我是奶龙！我是奶龙！我是奶龙！·2025-01-19 02:16

使用 Hadoop 实现大数据的高效存储与查询

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 23:24

Flink 使用 Kafka 作为数据源时遇到了偏移量提交失败的问题

具体的错误日志21:43:57.069[KafkaFetcherforSource:CustomSource->Map->Filter(1/1)#2]ERRORorg.apache.kafka.clients.consumer.internals.ConsumerCoordinator
java我跟你拼了·2025-01-18 23:19

kafka+connector集群迁移

示例环境ip部署信息备注192.168.181.121zookeeper、kafka、connecter待迁移集群节点1192.168.181.14zookeeper、kafka、connecter待迁移集群节点
mark.meng·2025-01-18 20:47

使用java代码消费kafka数据

首先创建maven项目，导入jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据
二进制_博客·2025-01-18 19:34

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个
Vez'nan的幸福生活·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka
武子康·2025-01-18 10:29

Springboot项目如何消费Kafka数据

目录一、引入依赖二、添加Kafka配置三、创建Kafka消费者（一）Kafka生产的消息是JSON字符串1、方式一2、方式二：需要直接访问消息元数据（二）Kafka生产的消息是对象Order四、创建启动类五
布朗克168·2025-01-18 10:25

Python 爬虫：获取网页数据的 5 种方法

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 07:35

如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？
·2025-01-17 19:07

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在
大模型大数据攻城狮·2025-01-17 19:56

vue中的那些事（刷新+key+v-if,v-for）

文章目录vue中添加属性，页面不刷新解决方法解决思路：解决方法：注意事项：vue3中解决方案解决思路：解决方法：注意事项：vue中key一、基本概念二、`key`的作用三、`key`的原理四、`key`的使用注意事项五、总结六、性能优化方面七、对Vue生命周期的影响Vue3中`key`一、基本概念二、`key`的作用三、`key`的原理四、`key`的使用注意事项五、性能优化六、对组件生命周期的影
放逐者-保持本心，方可放逐·2025-01-17 11:49

kafka直接对接nginx

很多时候我们要对nginx产生的日志进行分析都是通过flume监控nginx产生的日志，通过flume把日志文件发送该kafka，flume作为生产者，但是这种方式的缺点就是可能效率会比较慢，除此之外还可以使用
Lu_Xiao_Yue·2025-01-17 10:04

Spring Boot 和微服务：快速入门指南

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-17 09:56

大数据框架之kafka详解

目录1kafka介绍1.1kalka是什么？1.2Kafka内部原理1.3为什么需要消息队列？
xingchensuiyue·2025-01-17 06:30

消息中间件的基础概念入门

消息中间件的主要作用解耦合异步通信负载均衡可靠性与持久性消息路由与调度削峰事务支持监控与审计跨平台和跨语言支持二、常用消息中间件对比2.1、RabbitMQ2.1.1、特点2.1.2、适用场景2.2、ApacheKafka2.2.1
全镇人的希望·2025-01-17 05:28

Kafuka查看版本的方法

kafka查看版本方法：定位到kafka的安装目录，然后执行以下脚本find.
thinking-fish·2025-01-17 05:55

中间件 MetaQ

MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，其思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。
Zero_pl·2025-01-17 04:43

Kafka介绍

ApacheKafka是一个高性能、低延迟的分布式流处理平台，广泛用于构建实时数据管道和流式应用。以下是关于Kafka的详细介绍：核心概念•生产者（Producer）：负责向Kafka集群发送消息。
Zero_pl·2025-01-17 04:43

Spring Boot教程之五十七：在 Apache Kafka 上发布 JSON 消息

SpringBoot|如何在ApacheKafka上发布JSON消息ApacheKafka是一个发布-订阅消息系统。消息队列允许您在进程、应用程序和服务器之间发送消息。
潜洋·2025-01-17 03:33

有用过kafka的延迟队列功能的人吗

有用过Kafka的延迟队列功能的人吗？在当今的数据处理和消息传递领域，ApacheKafka已经成为了一个不可或缺的工具。它以其高吞吐量、低延迟和可扩展性而闻名。
xiamu_CDA·2025-01-17 03:33

RabbitMQ，RocketMQ，Kafka 事务性，消息丢失，消息顺序性和消息重复发送的处理策略

消息队列常见问题处理分布式事务什么是分布式事务我们的服务器从单机发展到拥有多台机器的分布式系统，各个系统之前需要借助于网络进行通信，原有单机中相对可靠的方法调用以及进程间通信方式已经没有办法使用，同时网络环境也是不稳定的，造成了我们多个机器之间的数据同步问题，这就是典型的分布式事务问题。在分布式事务中事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。分
90后小伙追梦之路·2025-01-17 01:48

Rabbit Rocket kafka 怎么实现消息有序消费和延迟消费的

在消息队列系统中，像RabbitMQ、RocketMQ和Kafka这样的系统，都支持不同的方式来实现消息的有序消费和延迟消费。
C18298182575·2025-01-16 23:03

初学者如何用 Python 写第一个爬虫？

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-16 23:27

大数据新视界 --大数据大厂之 从 Druid 和 Kafka 到 Polars：大数据处理工具的传承与创新

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 20:07

聊聊Spring事件：一些自己的QA

回答：Spring的事件机制确实有点类似于一个轻量级的消息队列，但与完整的消息队列（如Kafka、RabbitMQ）相比，Spring的事件机制是为了在应用
·2025-01-16 16:49

大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:51

一篇文章引出的N个面试题

太久没看面试题了，看之前的输入一个URL，回车之后到页面渲染的那些事，又来复习一波，把其中的碰到过的一些面试题提取出来，面向面试学习。
·2025-01-16 15:14

【1】 Kafka快速入门-从原理到实践

文章目录一、引言二、Kafka的历史️三、Kafka的核心结构️（一）Broker（二）Topic（三）Partition（四）Producer（五）Consumer（六）Zookeeper四、Kafka
不知名美食探索家·2025-01-16 15:15

spring-kafka中ContainerProperties.AckMode详解

Spring-Kafka:Kafka消费者确认模式详解在使用Spring-Kafka时，如何控制Kafka消费者对消息的确认是影响性能和数据安全的一个重要因素。
·2025-01-16 15:55

Kafka 消息丢失如何处理？

今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”
架构文摘JGWZ·2024-09-16 09:47

【六】阿伟开始搭建Kafka学习环境

阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka
能源恒观·2024-09-16 08:09

Java面试题精选：消息队列(二)

一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO
芒果不是芒·2024-09-16 07:34

Kafka是如何保证数据的安全性、可靠性和分区的

Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。
喜欢猪猪·2024-09-16 07:00

儿子开学报道第一天：我和公公一起送他去学校

还看了一会《明朝那些事》，看着看着，就觉得眼皮打架想要睡觉。可是我的潜意识还是提醒自己，起床吧，今天要6点钟起床，说好要叫儿子早起，今天他是8点钟要到学校
文又又·2024-09-16 06:02

孕妈必备：怀孕第一周孕妈和准爸爸需要知道的那些事儿

对于新婚夫妻来说，怀孕第一周准妈妈和准爸爸都会感觉到既惊喜又有点不知所措吧！怀孕第一周孕妈有什么反应，怀孕第一周孕妈需要注意的事情有哪些呢？准爸爸又该如何照顾孕妇及其为孩子做些什么呢？今日小编就和大家说说怀孕第一周的诸多问题，让孕妈和准爸爸做好准备。怀孕第一周该如何计算呢？人们通常都说准妈妈要“怀胎10月”，但实际上按照阳历计算的话，胎儿在妈妈子宫内生活的时间是没有10个月的。准妈妈得知自己怀孕，
张女子育儿·2024-09-16 04:14

左手向娱，右手专精，永远年轻永远收割健身小白

“来源于《互联网那些事》（ID：hlw0823)"不知道从什么时候开始，身边的人都像住进了健身房，朋友圈的人不是在健身房，就是在去健身房的路上。
每天学点经济学·2024-09-16 01:54

和大家聊聊跨境电子商务网购保税进口的那些事。

怎么知道自己购买的商品是否如商家宣传的那样，属于“正规方式”进口的跨境商品？可以通过查询个人跨境电商年度消费额度的方式进行验证：1.登录中国国际贸易单一窗口，进行用户注册或登录。2.找到相应入口，进入“公共服务”页面。如图所示，选择对应年份进行个人额度查询。3.在“已消费金额”一栏中，如果存在消费金额，还可以点击消费金额从而打开消费明细，列出消费者在跨境电商渠道购买，并正式向海关申报的跨境电商零售
万一我爱上你了呢·2024-09-15 22:37

Kafka详细解析与应用分析

Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。
芊言芊语·2024-09-15 20:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他