KafkaConsumer

【kafka】consumer offset提交异常时数据会重复么？

文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考一、问题描述:问题:kafkaconsumer消费poll到某分区数据后未及时commitoffset,此时另外一个消费线程消费该分区时会消费到重复数据么
pierre94·2020-06-27 06:05

Kafka系列（四）Kafka消费者：从Kafka中读取数据

本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。
Zebul博·2020-06-27 04:06

CDH集成Kafka时配置的版本问题

抛出异常如下2020-01-2711:33:48,289ERROR[TestApp]-java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe
子秦1117·2020-06-26 16:12

Kafka消费者：从Kafka中读取数据

本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。
不会推车的娘们·2020-06-26 09:41

kafka-python操作

kafka-python文档一、consumer1.常用api#建立连接consumer=KafkaConsumer(bootstrap_servers=['ip1:port','ip2:port'],
cotecc·2020-06-25 22:03

KafkaConsumer使用介绍、参数配置

Consumer概要Consumer程序开发Consumer常用参数说明消息解序列化多线程处理总结前言KafkaProducer作为生产者发送消息到Kafka，那么自然也就需要从kafka读取消息，这就是KafkaConsumer
russqiang·2020-06-25 00:26

KafkaConsumer 流程解析

前言对于中间件的使用都必须按照他们自己的规范和流程来使用，KafkaConsumer也对消息的负载消费定义了流程，新版本的流程跟老版本的流程有一些改变，这里只对新版本的流程来介绍，同时也会介绍这样去设计组件与流程的好处
桥头桥尾·2020-06-24 13:09

Kafka的assign和subscribe订阅模式和手动提交偏移量

KafkaConsumer.subscribe()：为consumer自动分配partition，有内部算法保证topic-partition以最优的方式均匀分配给同group下的不同consumer。
小强签名设计·2020-06-24 12:40

Kafka Consumer的两种接口（高阶低阶）

KafkaConsumer接口对于kafka的consumer接口，提供两种版本，high-level一种high-level版本，比较简单不用关心offset,会自动的读zookeeper中该Consumergroup
liangzelei·2020-06-24 04:11

Kafka学习笔记之Kafka背景及架构介绍

并介绍了Kafka的架构，Producer消息路由，ConsumerGroup以及由其实现的不同消息分发方式，Topic&Partition，最后介绍了KafkaConsumer为何使用pull模式以及
dengxiangbao3167·2020-06-23 03:45

kafka提交异常org.apache.kafka.clients.consumer.CommitFailedException

一、背景kafka使用版本为0.10.1.0，今天在测试kafkaConsumer的时候，代码如下publicstaticvoidmain(String[]args){      Propertiesprops
农村外出务工男·2020-06-22 21:43

kafka如何获取所有topic kafka如何获取集群信息

listTopics(){acquire();try{returnfetcher.getAllTopicMetadata(requestTimeoutMs);}finally{release();}}}通过构造kafkaConsumer
better_mouse·2020-06-22 17:49

kafka 相关配置总结

那么KafkaConsumer就需要执行7次poll才能将这一次通过网络发起的fetch请求所fetch到的这100个
简书徐小耳·2020-06-21 23:55

Kafka消费组(consumer group)

一直以来都想写一点关于kafkaconsumer的东西，特别是关于新版consumer的中文资料很少。
weixin_33713503·2020-06-21 10:04

Kafka 2.5.0发布——弃用对Scala2.11的支持

增加了很多新功能：下载地址：https://kafka.apache.org/downloads#2.5.0对TLS1.3的支持（默认为1.2）引入用于KafkaStreams的Co-groups用于KafkaConsumer
独孤风·2020-04-20 09:00

kafka 消费者详解

前言读完本文，你将了解到如下知识点：kafka的消费者和消费者组如何正确使用kafkaconsumer常用的kafkaconsumer配置消费者和消费者组什么是消费者？
code_solve·2020-04-14 10:07

Kafka Consumer

KafkaConsumer消费以组的方式划分，Topic中的每一个分区只会分给同一个组中的其中一个实例。这是基于队列模式，如果想基于发布订阅模式，那订阅同一个Topic的实例需要指定不同的组名。
shysh·2020-04-06 18:17

【Kafka源码】KafkaConsumer

[TOC]KafkaConsumer是从kafka集群消费消息的客户端。这是kafka的高级消费者，而SimpleConsumer是kafka的低级消费者。何为高级？何为低级？
端木轩·2020-04-02 04:29

基于MapReduce的常驻Kafka Consumer程序的实现

前言KafkaConsumer一般作为实时数据流处理当中的订阅端，其主要工作是实时的从Kafka中订阅数据，进行一些简单的ETL工作（不是必须），将数据存储到其它存储系统上（一般是HDFS、HBase、
彼岸_1·2020-03-30 11:37

Flink的Apache Kafka连接器

Flink提供了特殊的KafkaConnectors来从Kafkatopic中读取数据或者将数据写入到Kafkatopic中，Flink的KafkaConsumer与Flink的检查点机制相结合，提供exactly-once
写Bug的张小天·2020-03-28 01:08

Kafka源码深度解析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从Kafka0.8.2开始，发布了一套新的Java版的clientapi,KafkaProducer/KafkaConsumer，替代之前的scala版的api。
编码前线·2020-03-27 19:43

Kafka设计解析（四）- Kafka Consumer设计解析

Kafka设计解析（四）-KafkaConsumer设计解析原创文章，转载请务必将下面这段话置于文章开头处。
小小少年Boy·2020-03-26 10:15

从0开始搭建kafka客户端

1.创建maven项目2.kafkaproducer3.kafkaconsumer4.结果生产者：消费者：可能遇到的坑：最后：1.创建maven项目  首先我们使用idea创建项目。  
进击的李同学·2020-03-08 22:00

如何分析及处理 Flink 反压？

由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是pull-based的，所以反压通常是从某个节点传导至数据源并降低数据源（比如Kafkaconsumer）的摄入速
qq5dda6ecead5a8·2020-02-27 16:59

org.apache.kafka.clients.consumer.KafkaConsumer(一)

*AclientthatconsumesrecordsfromaKafkacluster.*kafka客户端从kafka集群消费消息(获取消息)*ThisclienttransparentlyhandlesthefailureofKafkabrokers,andtransparentlyadaptsastopicpartitionsitfetchesmigratewithinthecluster.
ljglwz·2020-02-25 10:57

Flink exactly-once 实战笔记

Flink-Kafka众所周知，Flink在很早的时候就通过Checkpointing提供了exactly-once的semantic，不过仅限于自身或者是从KafkaConsumer中消费数据。
Snak1enn·2020-02-22 10:11

绍圣--kafka之消费者（二）

轮询流程首先看看最外层的poll方法KafkaConsumer.pollpublicConsumerRecordspoll(longtimeout){acquire();try{longstart=time.milliseconds
绍圣·2020-02-20 07:41

Kafka Consumer

基本用法topic_name='my_topic_name'consumer=KafkaConsumer(topic_name,bootstrap_servers=['172.16.89.80:9092
jihite·2020-02-17 08:00

使用Docker部署Kafka时的网络应该如何配置

作者的Kafka使用环境是KafkaProducer和Broker均在Docker网络中，KafkaConsumer在宿主机环境中。结构如下图这样子：use-case.png首先，我从Dockerh
CheckChe·2020-02-13 09:45

Kafka源码分析-Consumer（10）-Fetcher

这一节主要介绍消费者如何从服务端获取消息，KafkaConsumer依赖Fetcher类实现此功能。
陈阳001·2020-02-12 17:36

从指定 offset 消费 Kafka

pipinstallkafka-pythonimportgzipfromkafkaimportKafkaConsumerfromkafkaimportTopicPartitionconsumer=KafkaConsumer
焉知非鱼·2020-02-12 01:17

深入解析Kafka消费者——提交和偏移量

KafkaConsumer(消费者)每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，我们因此可以追踪到哪些记录是被群组里的哪个消费者读取的。
消失er·2020-02-08 07:40

绍圣--kafka之消费者--总结

总结：1，在客户端调用KafkaConsumer.poll时，轮询过程中，只要拉取到数据，就会直接发送再一个拉取请求。
绍圣·2020-02-05 12:33

Kafka 消费者 Java 实现

应用程序使用KafkaConsumer向Kafka订阅Topic接收消息，首先理解Kafka中消费者（consumer）和消费者组（consumergroup）的概念和特性。
Alex90·2020-02-01 02:57

源码分析Kafka 消息拉取流程

@(本节目录)１、KafkaConsumerpoll详解消息拉起主要入口为：KafkaConsumer#poll方法，其声明如下：~javapublicConsumerRecordspoll(finalDurationtimeout
中间件兴趣圈·2020-01-15 20:00

初始 Kafka Consumer 消费者

1、KafkaConsumer概述根据KafkaConsumer类上的注释上来看KafkaConsumer具有如下特征：在Kafka中KafkaConsumer是线程不安全的。
中间件兴趣圈·2020-01-12 23:00

Kafka源码分析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从Kafka0.8.2开始，发布了一套新的Java版的clientapi,KafkaProducer/KafkaConsumer，替代之前的scala版的api。
丸_子·2020-01-05 10:49

KafkaConsumer订阅topic数据，是如何实现加入组以及再平衡原理

02.KafkaConsumer订阅topic数据，是如何实现加入组以及再平衡原理上一篇在分析Consumer不通订阅方式的时候，提到了同一消费组下有多个消费者时，会触发再平衡，本篇将通过源码详细的分析是如何加入组以及再平衡的实现原理
源码解读者·2020-01-02 19:42

python读取Kafka实例

pipinstallkafka-pythonfromkafkaimportKafkaConsumerimportsettingconf=setting.luyang_kafka_settingconsumer=KafkaConsumer
技术那点事·2019-12-23 09:06

python kafka 多线程消费者&手动提交实例

官方文档：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.htmlimportthreadingimportosimportsysfromkafkaimportKafkaConsumer
一天两晒网·2019-12-21 15:06

Kafka实际案例问题

kafkaconsumer防止数据丢失Kafka学习之怎么保证不丢，不重复消费数据1消费者pull数据时，出现数据丢失？
小小少年Boy·2019-12-15 09:37

Kafka在SpringBoot中的入门配置

一、Springboot与Spring-kafka版本关系二、概念知识三、SpringBoot操作Kafka示例Topic配置producer配置过滤监听器中的消息监听器的异常处理KafkaConsumer
IT菜鸟学习·2019-11-30 20:32

KafkaConsumer重置Offset

在KafkaVersion为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。在命令行中可以使用kafka-consumer-groups的脚本实现Offset的相关操作。更新Offset的三个维度：Topic的作用域重置策略执行方案Topic的作用域--all-topics：为consumergroup下所有topic
t_huanghai·2019-10-30 14:34

Flink读取Kafka报错：KafkaException ByteArrayDeserializer is not an instance Deserializer

org.apache.kafka.common.KafkaException:Failedtoconstructkafkaconsumeratorg.apache.kafka.clients.consumer.KafkaConsumer
九师兄-梁川川·2019-10-20 20:07

从KafkaConsumer看看Kafka（一）

的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer
AiFly·2019-10-19 23:00

Kafka再平衡机制详解

所谓的再平衡，指的是在kafkaconsumer所订阅的topic发生变化时发生的一种分区重分配机制。
艾弗森哇·2019-10-16 16:56

kafka 消费者拉取消息

入口在KafkaConsumer#pollOnce中，抽出主要步骤：//构造FetchRequest请求，将请求对象放入unsent集合，等待发送fetcher.sendFetches();//取出unsent
偶尔发呆·2019-10-02 15:00

深入解析Kafka消费者——提交和偏移量

原文链接：https://www.jianshu.com/p/6845469d99e6KafkaConsumer(消费者)每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录
波波仔86·2019-09-19 10:48

Fetcher: KafkaConsumer消息消费的管理者

原文链接：https://blog.csdn.net/zhanyuanlin/article/details/76269308poll(timeout){根据poll(timeout)参数，估算剩余时间while(还有剩余时间)从Fetcher端拉取消费到的消息if(消息数量不为空)创建发送请求立刻将请求发送elsereturnend//ifends计算剩余时间end//whileends}从上述
香山上的麻雀1008·2019-09-18 17:51

kafka consumer 自动提交 offset

org.apache.kafka.clients.consumer.KafkaConsumer#pollOnceprivateMap>>pollOnce(longtimeout){client.maybeTriggerWakeup
偶尔发呆·2019-09-10 15:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他