kafka生产者

Flink 使用 Kafka 作为数据源时遇到了偏移量提交失败的问题

具体的错误日志21:43:57.069[KafkaFetcherforSource:CustomSource->Map->Filter(1/1)#2]ERRORorg.apache.kafka.clients.consumer.internals.ConsumerCoordinator
java我跟你拼了·2025-01-18 23:19

kafka+connector集群迁移

示例环境ip部署信息备注192.168.181.121zookeeper、kafka、connecter待迁移集群节点1192.168.181.14zookeeper、kafka、connecter待迁移集群节点
mark.meng·2025-01-18 20:47

使用java代码消费kafka数据

首先创建maven项目，导入jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据
二进制_博客·2025-01-18 19:34

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个
Vez'nan的幸福生活·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka
武子康·2025-01-18 10:29

Springboot项目如何消费Kafka数据

目录一、引入依赖二、添加Kafka配置三、创建Kafka消费者（一）Kafka生产的消息是JSON字符串1、方式一2、方式二：需要直接访问消息元数据（二）Kafka生产的消息是对象Order四、创建启动类五
布朗克168·2025-01-18 10:25

Python 爬虫：获取网页数据的 5 种方法

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 07:35

BOOST c++库学习 之 lockfree库入门实战指南 以及 使用lockfree库时对比普通队列、栈的测试例子

核心组件1.无锁队列(boost::lockfree::queue)简介:boost::lockfree::queue是一个多生产者-多消费者（MPMC）的无锁队列，允许
Narcotis·2025-01-18 07:05

如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？
·2025-01-17 19:07

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在
大模型大数据攻城狮·2025-01-17 19:56

kafka直接对接nginx

很多时候我们要对nginx产生的日志进行分析都是通过flume监控nginx产生的日志，通过flume把日志文件发送该kafka，flume作为生产者，但是这种方式的缺点就是可能效率会比较慢，除此之外还可以使用
Lu_Xiao_Yue·2025-01-17 10:04

Spring Boot 和微服务：快速入门指南

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-17 09:56

大数据框架之kafka详解

目录1kafka介绍1.1kalka是什么？1.2Kafka内部原理1.3为什么需要消息队列？
xingchensuiyue·2025-01-17 06:30

消息中间件的基础概念入门

消息中间件的主要作用解耦合异步通信负载均衡可靠性与持久性消息路由与调度削峰事务支持监控与审计跨平台和跨语言支持二、常用消息中间件对比2.1、RabbitMQ2.1.1、特点2.1.2、适用场景2.2、ApacheKafka2.2.1
全镇人的希望·2025-01-17 05:28

Kafuka查看版本的方法

kafka查看版本方法：定位到kafka的安装目录，然后执行以下脚本find.
thinking-fish·2025-01-17 05:55

中间件 MetaQ

MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，其思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。
Zero_pl·2025-01-17 04:43

Kafka介绍

ApacheKafka是一个高性能、低延迟的分布式流处理平台，广泛用于构建实时数据管道和流式应用。以下是关于Kafka的详细介绍：核心概念•生产者（Producer）：负责向Kafka集群发送消息。
Zero_pl·2025-01-17 04:43

Spring Boot教程之五十七：在 Apache Kafka 上发布 JSON 消息

SpringBoot|如何在ApacheKafka上发布JSON消息ApacheKafka是一个发布-订阅消息系统。消息队列允许您在进程、应用程序和服务器之间发送消息。
潜洋·2025-01-17 03:33

有用过kafka的延迟队列功能的人吗

有用过Kafka的延迟队列功能的人吗？在当今的数据处理和消息传递领域，ApacheKafka已经成为了一个不可或缺的工具。它以其高吞吐量、低延迟和可扩展性而闻名。
xiamu_CDA·2025-01-17 03:33

RabbitMQ，RocketMQ，Kafka 事务性，消息丢失，消息顺序性和消息重复发送的处理策略

消息队列常见问题处理分布式事务什么是分布式事务我们的服务器从单机发展到拥有多台机器的分布式系统，各个系统之前需要借助于网络进行通信，原有单机中相对可靠的方法调用以及进程间通信方式已经没有办法使用，同时网络环境也是不稳定的，造成了我们多个机器之间的数据同步问题，这就是典型的分布式事务问题。在分布式事务中事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。分
90后小伙追梦之路·2025-01-17 01:48

Rabbit Rocket kafka 怎么实现消息有序消费和延迟消费的

在消息队列系统中，像RabbitMQ、RocketMQ和Kafka这样的系统，都支持不同的方式来实现消息的有序消费和延迟消费。
C18298182575·2025-01-16 23:03

初学者如何用 Python 写第一个爬虫？

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-16 23:27

大数据新视界 --大数据大厂之 从 Druid 和 Kafka 到 Polars：大数据处理工具的传承与创新

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 20:07

为AI聊天工具添加一个知识系统 之32 三“中”全“会”：推理式的ISA（父类）和IOS（母本）以及生成式CMN （双亲委派）之1

数据中台三端架构的中间端(信息系统架构ISA：proxyserverAPI（消解-回收代理的应用程序接口）)，业务中台三层结构(智能操作系统：brokerserviceSPI（消费者-生产者代理的服务提供者接口
一水鉴天·2025-01-16 20:03

聊聊Spring事件：一些自己的QA

关于Spring事件机制Q&A用户提问：Spring事件机制是否可以理解为系统内部的小型消息队列，任何被容器管理的bean都可以是生产者，发布的事件可以被监听（消费），也可以不被监听（类似于SpringBoot
·2025-01-16 16:49

大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:51

【1】 Kafka快速入门-从原理到实践

文章目录一、引言二、Kafka的历史️三、Kafka的核心结构️（一）Broker（二）Topic（三）Partition（四）Producer（五）Consumer（六）Zookeeper四、Kafka
不知名美食探索家·2025-01-16 15:15

spring-kafka中ContainerProperties.AckMode详解

Spring-Kafka:Kafka消费者确认模式详解在使用Spring-Kafka时，如何控制Kafka消费者对消息的确认是影响性能和数据安全的一个重要因素。
·2025-01-16 15:55

Kafka 消息丢失如何处理？

今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”
架构文摘JGWZ·2024-09-16 09:47

【六】阿伟开始搭建Kafka学习环境

阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka
能源恒观·2024-09-16 08:09

Java面试题精选：消息队列(二)

一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO
芒果不是芒·2024-09-16 07:34

Kafka是如何保证数据的安全性、可靠性和分区的

Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。
喜欢猪猪·2024-09-16 07:00

06选课支付模块之基于消息队列发送支付通知消息

微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
echo 云清·2024-09-16 06:25

在RabbitMQ中四种常见的消息路由模式

工作原理：生产者发送消息到FanoutExchange。FanoutExchange会将消息广播给所有绑定到它的队列，所有绑定的队列都会收到这条消息。消费者监听绑定的队列，处理收到的消息。
Xwzzz_·2024-09-16 06:25

RabbitMQ生产者重复机制与确认机制

重复机制生产者发送消息时，出现了网络故障，导致与MQ的连接中断。为了解决这个问题，SpringAMQP提供的消息发送时的重试机制。即：当RabbitTemplate与MQ连接超时后，多次重试。
java炒饭小能手·2024-09-16 05:16

Kafka详细解析与应用分析

Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。
芊言芊语·2024-09-15 20:33

Kafka 基础与架构理解

目录前言Kafka基础概念消息队列简介：Kafka与传统消息队列（如RabbitMQ、ActiveMQ）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka
StaticKing·2024-09-15 19:27

全面指南：用户行为从前端数据采集到实时处理的最佳实践

本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。
数字沉思·2024-09-15 11:28

Docker安装Kafka和Kafka-Manager

本文介绍如何通过Docker安装kafka与kafka界面管理界面一、拉取zookeeper由于kafka需要依赖于zookeeper，因此这里先运行zookeeper1、拉取镜像dockerpullwurstmeister
阿靖哦·2024-09-15 09:46

主流行架构

nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo
rainbowcheng·2024-09-15 09:43

月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线

决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka
「已注销」·2024-09-14 23:30

分布式消息队列Kafka

分布式消息队列Kafka简介：Kafka是一个分布式消息队列系统，用于处理实时数据流。消息按照主题（Topic）进行分类存储，发送消息的实体称为Producer，接收消息的实体称为Consumer。
叶域·2024-09-14 22:55

生产者消费者模式_Labview基础之生产者消费者设计模式（事件）

1绪论近期，开了一个QQ群，刚开始的目的也是想多拉写软件相关的大神，有问题的时候也可以交流交流。记得当时有个软件在写的时候遇到了一个棘手的问题，outlook邮箱配置账户密码的问题，到现在也没解决，算了，也不是很迫切。2000人群就留在那里爬虫发单吧！建群以后才发现，原来这一块的小白还挺多，总结起来就一个原因：做这个软件的大多数都不是软件出生，都是因为临时要搭建一个上位机平台，匆匆入门......
weixin_39532699·2024-09-14 22:22

java 线程池 队列封装_java线程池（线程池组---分离任务队列和线程池）

线程池本质上所使用的逻辑模型仍然是我们熟悉的“生产者/消费者”模型。
爱打怪的小魔女·2024-09-14 22:52

K8S学习之PV&&PVC

如典型的mysql，kafka，zookeeper等等。在我们有比较优秀的商业存储的前提下，非常推荐使用有状态服务进行部署，计算和存储分离那是相当的爽的。
david161·2024-09-14 20:10

RocketMQ 架构简析，看这篇就够了！

生产者组（ProducerGroup）同一类Producer的集合，这类Producer发送同一类消息且发送逻辑一致。
V搜编程进阶路·2024-09-14 19:33

Kafka系列之：kafka命令详细总结

Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host
快乐骑行^_^·2024-09-14 08:55

搭建Kafka+zookeeper集群调度

前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka
krb___·2024-09-14 07:17

C++11知识点汇总

11常用关键知识点梳理1.1关键字和语法1.2绑定器和函数对象1.3智能指针1.4容器二、C++语言级别支持的多线程编程2.1通过thread类编写C++多线程程序2.2线程间互斥2.3线程间同步通信-生产者消费者模型
GeniusAng丶·2024-09-14 02:13

Kafka和Pulsar深入解析

Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。
jasen91·2024-09-14 01:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他