KafkaConsumer

Kafka Consumer介绍

Kafkaconsumer消费消息时，向broker发出"fetch"请求去消费特定分区的消息。consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息。
qrne06·2020-07-11 21:13

kafka系列——KafkaConsumer源码分析

实例化过程与KafkaProduer类似,只是初始化的组件有所差异,看KafkaConsumer构造函数消费者实例化的主要组件介绍ConsumerConfig：消费者级别的配置,将相应配置传递给其他组件
循环ing·2020-07-11 11:29

Kafka权威指南，Kafka消费者

Kafka消费者应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。Kafka消费者从属于消费者群组。
Java-飞鱼·2020-07-09 23:44

Kafka学习笔记: 多线程开发消费者

从Kafka0.10.1.0版本开始，KafkaConsumer就变为了双线程的设计，即用户主线程和心跳线程。
张伯毅·2020-07-09 05:38

KAFKA java 消费者

importorg.apache.kafka.clients.consumer.ConsumerRecord;importorg.apache.kafka.clients.consumer.ConsumerRecords;importorg.apache.kafka.clients.consumer.KafkaConsumer
极客宋·2020-07-08 06:14

几种kafka多线程消费方式

org/apache/kafka/clients/consumer/KafkaConsumer.html知乎关于多线程的回答https://www.zhihu.com/question/57483708
qq_42506914·2020-07-08 02:57

kafka学习（7）-Springboot整合kafka-多线程

目录1、多线程生产者2、多线程消费者2.1、Consumer为何需要实现多线程2.2、多线程的KafkaConsumer模型类别2.2.1、模型一：多个Consumer且每一个Consumer有自己的线程
^果然好^·2020-07-06 16:21

Kafka对接HBase

publicclassHBaseConsumer{publicstaticvoidmain(String[]args){//加载配置信息KafkaConsumerkafkaConsumer=newKafkaConsumerrecords=kafkaConsumer.poll
余崇富·2020-07-05 04:59

在kafka开发中遇到的问题及解决方案

问题一由于gp集群的并发量限制，每到任务提交的高峰期，执行一条sql并返回结果需要排队很长时间，一旦排队时间大于5分钟，就会大于kafkaconsumer两批poll(long)方法之间默认的处理时间。
PONY LEE·2020-06-28 20:41

kafka学习总结014 --- consumer多线程问题

KafkaConsumer是非线程安全的，多线程共享一个KafkaConsumer实例，kafka会有如下异常：java.util.ConcurrentModificationException:KafkaConsumerisnotsafeformulti-threadedaccesspublicclassMyConsumer5
光头用沙宣·2020-06-28 15:00

Kafka消费者——从 Kafka读取数据

应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。从Kafka读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。
weixin_33693070·2020-06-28 03:05

asp.net core microservices 架构之分布式自动计算（三）-kafka日志同步至elasticsearch和kibana展示...

一kafkaconsumer准备前面的章节进行了分布式job的自动计算的概念讲解以及实践。
weixin_30851409·2020-06-28 01:30

【kafka】consumer offset提交异常时数据会重复么？

文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考一、问题描述:问题:kafkaconsumer消费poll到某分区数据后未及时commitoffset,此时另外一个消费线程消费该分区时会消费到重复数据么
pierre94·2020-06-27 06:05

Kafka系列（四）Kafka消费者：从Kafka中读取数据

本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。
Zebul博·2020-06-27 04:06

CDH集成Kafka时配置的版本问题

抛出异常如下2020-01-2711:33:48,289ERROR[TestApp]-java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe
子秦1117·2020-06-26 16:12

Kafka消费者：从Kafka中读取数据

本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。
不会推车的娘们·2020-06-26 09:41

kafka-python操作

kafka-python文档一、consumer1.常用api#建立连接consumer=KafkaConsumer(bootstrap_servers=['ip1:port','ip2:port'],
cotecc·2020-06-25 22:03

KafkaConsumer使用介绍、参数配置

Consumer概要Consumer程序开发Consumer常用参数说明消息解序列化多线程处理总结前言KafkaProducer作为生产者发送消息到Kafka，那么自然也就需要从kafka读取消息，这就是KafkaConsumer
russqiang·2020-06-25 00:26

KafkaConsumer 流程解析

前言对于中间件的使用都必须按照他们自己的规范和流程来使用，KafkaConsumer也对消息的负载消费定义了流程，新版本的流程跟老版本的流程有一些改变，这里只对新版本的流程来介绍，同时也会介绍这样去设计组件与流程的好处
桥头桥尾·2020-06-24 13:09

Kafka的assign和subscribe订阅模式和手动提交偏移量

KafkaConsumer.subscribe()：为consumer自动分配partition，有内部算法保证topic-partition以最优的方式均匀分配给同group下的不同consumer。
小强签名设计·2020-06-24 12:40

Kafka Consumer的两种接口（高阶低阶）

KafkaConsumer接口对于kafka的consumer接口，提供两种版本，high-level一种high-level版本，比较简单不用关心offset,会自动的读zookeeper中该Consumergroup
liangzelei·2020-06-24 04:11

Kafka学习笔记之Kafka背景及架构介绍

并介绍了Kafka的架构，Producer消息路由，ConsumerGroup以及由其实现的不同消息分发方式，Topic&Partition，最后介绍了KafkaConsumer为何使用pull模式以及
dengxiangbao3167·2020-06-23 03:45

kafka提交异常org.apache.kafka.clients.consumer.CommitFailedException

一、背景kafka使用版本为0.10.1.0，今天在测试kafkaConsumer的时候，代码如下publicstaticvoidmain(String[]args){      Propertiesprops
农村外出务工男·2020-06-22 21:43

kafka如何获取所有topic kafka如何获取集群信息

listTopics(){acquire();try{returnfetcher.getAllTopicMetadata(requestTimeoutMs);}finally{release();}}}通过构造kafkaConsumer
better_mouse·2020-06-22 17:49

kafka 相关配置总结

那么KafkaConsumer就需要执行7次poll才能将这一次通过网络发起的fetch请求所fetch到的这100个
简书徐小耳·2020-06-21 23:55

Kafka消费组(consumer group)

一直以来都想写一点关于kafkaconsumer的东西，特别是关于新版consumer的中文资料很少。
weixin_33713503·2020-06-21 10:04

Kafka 2.5.0发布——弃用对Scala2.11的支持

增加了很多新功能：下载地址：https://kafka.apache.org/downloads#2.5.0对TLS1.3的支持（默认为1.2）引入用于KafkaStreams的Co-groups用于KafkaConsumer
独孤风·2020-04-20 09:00

kafka 消费者详解

前言读完本文，你将了解到如下知识点：kafka的消费者和消费者组如何正确使用kafkaconsumer常用的kafkaconsumer配置消费者和消费者组什么是消费者？
code_solve·2020-04-14 10:07

Kafka Consumer

KafkaConsumer消费以组的方式划分，Topic中的每一个分区只会分给同一个组中的其中一个实例。这是基于队列模式，如果想基于发布订阅模式，那订阅同一个Topic的实例需要指定不同的组名。
shysh·2020-04-06 18:17

【Kafka源码】KafkaConsumer

[TOC]KafkaConsumer是从kafka集群消费消息的客户端。这是kafka的高级消费者，而SimpleConsumer是kafka的低级消费者。何为高级？何为低级？
端木轩·2020-04-02 04:29

基于MapReduce的常驻Kafka Consumer程序的实现

前言KafkaConsumer一般作为实时数据流处理当中的订阅端，其主要工作是实时的从Kafka中订阅数据，进行一些简单的ETL工作（不是必须），将数据存储到其它存储系统上（一般是HDFS、HBase、
彼岸_1·2020-03-30 11:37

Flink的Apache Kafka连接器

Flink提供了特殊的KafkaConnectors来从Kafkatopic中读取数据或者将数据写入到Kafkatopic中，Flink的KafkaConsumer与Flink的检查点机制相结合，提供exactly-once
写Bug的张小天·2020-03-28 01:08

Kafka源码深度解析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从Kafka0.8.2开始，发布了一套新的Java版的clientapi,KafkaProducer/KafkaConsumer，替代之前的scala版的api。
编码前线·2020-03-27 19:43

Kafka设计解析（四）- Kafka Consumer设计解析

Kafka设计解析（四）-KafkaConsumer设计解析原创文章，转载请务必将下面这段话置于文章开头处。
小小少年Boy·2020-03-26 10:15

从0开始搭建kafka客户端

1.创建maven项目2.kafkaproducer3.kafkaconsumer4.结果生产者：消费者：可能遇到的坑：最后：1.创建maven项目  首先我们使用idea创建项目。  
进击的李同学·2020-03-08 22:00

如何分析及处理 Flink 反压？

由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是pull-based的，所以反压通常是从某个节点传导至数据源并降低数据源（比如Kafkaconsumer）的摄入速
qq5dda6ecead5a8·2020-02-27 16:59

org.apache.kafka.clients.consumer.KafkaConsumer(一)

*AclientthatconsumesrecordsfromaKafkacluster.*kafka客户端从kafka集群消费消息(获取消息)*ThisclienttransparentlyhandlesthefailureofKafkabrokers,andtransparentlyadaptsastopicpartitionsitfetchesmigratewithinthecluster.
ljglwz·2020-02-25 10:57

Flink exactly-once 实战笔记

Flink-Kafka众所周知，Flink在很早的时候就通过Checkpointing提供了exactly-once的semantic，不过仅限于自身或者是从KafkaConsumer中消费数据。
Snak1enn·2020-02-22 10:11

绍圣--kafka之消费者（二）

轮询流程首先看看最外层的poll方法KafkaConsumer.pollpublicConsumerRecordspoll(longtimeout){acquire();try{longstart=time.milliseconds
绍圣·2020-02-20 07:41

Kafka Consumer

基本用法topic_name='my_topic_name'consumer=KafkaConsumer(topic_name,bootstrap_servers=['172.16.89.80:9092
jihite·2020-02-17 08:00

使用Docker部署Kafka时的网络应该如何配置

作者的Kafka使用环境是KafkaProducer和Broker均在Docker网络中，KafkaConsumer在宿主机环境中。结构如下图这样子：use-case.png首先，我从Dockerh
CheckChe·2020-02-13 09:45

Kafka源码分析-Consumer（10）-Fetcher

这一节主要介绍消费者如何从服务端获取消息，KafkaConsumer依赖Fetcher类实现此功能。
陈阳001·2020-02-12 17:36

从指定 offset 消费 Kafka

pipinstallkafka-pythonimportgzipfromkafkaimportKafkaConsumerfromkafkaimportTopicPartitionconsumer=KafkaConsumer
焉知非鱼·2020-02-12 01:17

深入解析Kafka消费者——提交和偏移量

KafkaConsumer(消费者)每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，我们因此可以追踪到哪些记录是被群组里的哪个消费者读取的。
消失er·2020-02-08 07:40

绍圣--kafka之消费者--总结

总结：1，在客户端调用KafkaConsumer.poll时，轮询过程中，只要拉取到数据，就会直接发送再一个拉取请求。
绍圣·2020-02-05 12:33

Kafka 消费者 Java 实现

应用程序使用KafkaConsumer向Kafka订阅Topic接收消息，首先理解Kafka中消费者（consumer）和消费者组（consumergroup）的概念和特性。
Alex90·2020-02-01 02:57

源码分析Kafka 消息拉取流程

@(本节目录)１、KafkaConsumerpoll详解消息拉起主要入口为：KafkaConsumer#poll方法，其声明如下：~javapublicConsumerRecordspoll(finalDurationtimeout
中间件兴趣圈·2020-01-15 20:00

初始 Kafka Consumer 消费者

1、KafkaConsumer概述根据KafkaConsumer类上的注释上来看KafkaConsumer具有如下特征：在Kafka中KafkaConsumer是线程不安全的。
中间件兴趣圈·2020-01-12 23:00

Kafka源码分析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从Kafka0.8.2开始，发布了一套新的Java版的clientapi,KafkaProducer/KafkaConsumer，替代之前的scala版的api。
丸_子·2020-01-05 10:49

KafkaConsumer订阅topic数据，是如何实现加入组以及再平衡原理

02.KafkaConsumer订阅topic数据，是如何实现加入组以及再平衡原理上一篇在分析Consumer不通订阅方式的时候，提到了同一消费组下有多个消费者时，会触发再平衡，本篇将通过源码详细的分析是如何加入组以及再平衡的实现原理
源码解读者·2020-01-02 19:42
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他