KafkaConsumer

kafka 消费者详解

前言读完本文，你将了解到如下知识点：kafka的消费者和消费者组如何正确使用kafkaconsumer常用的kafkaconsumer配置消费者和消费者组什么是消费者？
wx: fulltilt8·2022-07-16 22:51

20 | 多线程开发消费者实例

KafkaJavaConsumer设计原理多线程方案实现代码示例Kafka核心技术与实战客户端实践及原理剖析20|多线程开发消费者实例KafkaJavaConsumer设计原理从Kafka0.10.1.0版本开始，KafkaConsumer
久违の欢喜·2022-05-28 18:36

聊聊 Kafka Consumer 那点事

在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer即消费者的内部底层原理设计思想。
zhisheng_blog·2022-05-20 08:28

关于Kafka消费者订阅方式

1.指定主题消费一个消费者可以使用KafkaConsumer提供的subscri
·2022-05-05 12:04

Kafka消费者：读消息从Kafka

前言读完本文，你将了解到如下知识点：kafka的消费者和消费者组如何正确使用kafkaconsumer常用的kafkaconsumer配置消费者和消费者组什么是消费者？
__元昊__·2022-02-21 23:36

KafkaConsumer 分析

image.png1.OldLowLevelConsumerAPI1.1优缺点1.1.1优点使用LowLevelConsumer(SimpleConsumer)的主要原因是，用户希望比ConsumerGroup更好的控制数据的消费。比如：1.同一条消息读多次2.只读取某个Topic的部分Partition3.管理事务，从而确保每条消息被处理一次，且仅被处理一次4.可以做到at-least-once
LancerLin_LX·2022-02-21 21:37

Kafka消费者：读消息从Kafka

前言读完本文，你将了解到如下知识点：kafka的消费者和消费者组如何正确使用kafkaconsumer常用的kafkaconsumer配置消费者和消费者组什么是消费者？
zwb_jianshu·2022-02-16 10:57

kafka Java客户端之 consumer API 多线程消费消息

kafkaconsumer线程设计KafkaJavaConsumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。
codingXT·2022-02-10 15:30

「kafka」kafka-clients，java编写消费者客户端及原理剖析

与生产者对应的是消费者，应用程序通过KafkaConsumer来订阅主题，并从订阅的主题中拉取消息。不过我们需要先了解消费者和消费组的概念，否则无法理解如何使用KafkaConsumer。
源码之路·2022-02-03 04:22

聊聊 Kafka： Consumer 源码解析之 ConsumerNetworkClient

一、Consumer的使用Consumer的源码解析主要来看KafkaConsumer，KafkaConsumer是Consumer接口的实现类。
·2021-11-30 20:44

CQRS在一条订单系统中的实践(三)--DDD分层协作实践

DDD分层协作支付订单分层用户接口层：适配不同终端（gatewayapi、dubboapi、kafkaconsumer）生成Command|-com.yit.orders.facade:|-com.yit.orders.facade.OrderPayService
·2021-11-29 19:48

SpringBoot 整合 Kafka

SpringBoot整合Kafka一、maven依赖二、KafkaProducer.java三、KafkaConsumer.java四、application.yml五、DatabaseTest.java
玄月 ⁡⁢·2021-11-15 14:23

聊聊 Kafka Consumer 那点事

作者：王江华原文：https://mp.weixin.qq.com/s/jS...在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer
·2021-10-11 11:11

kafka | kafka.errors.NoBrokersAvailable: NoBrokersAvailable

问题描述简述:在完成大数据实验课程中,使用pycharm编写脚本,启动kafka时遇到问题,执行producer.py文件报错,预期是要出现打印信息,但是却报错consumer=KafkaConsumer
·2021-07-27 19:55

Kafka、Zookeeper基于docker安装，kafka-python简单使用

Kafka、Zookeeper基于docker安装，kafka-python简单使用kafka-python文档：KafkaConsumer-kafka-python2.0.2-devdocumentation
扯扯_2c79·2021-07-27 19:26

kafka——消费者原理解析

kafkaconsumer采用pull（拉）模式
小波同学·2021-06-27 07:16

深入理解Kafka(六) Consumer开发

先来写一个Consumer类，在构造方法里初始化KafkaConsumer对象，并设置相应的参数。
skyguard·2021-06-26 09:12

kafka | kafka.errors.NoBrokersAvailable: NoBrokersAvailable

问题描述简述:在完成大数据实验课程中,使用pycharm编写脚本,启动kafka时遇到问题,执行producer.py文件报错,预期是要出现打印信息,但是却报错consumer=KafkaConsumer
·2021-06-25 20:01

SparkStreaming On Kafka —— Offset 管理

一、Kafka消费者如何管理offset我之前有写一篇kafkaConsumer—offset的控制如果你对于这方面的知识还不太清楚，建议你去看一下，毕竟理解了Kafka的消费者，你才能更好的使用SparkStreaming
code_solve·2021-06-24 01:47

Kafka消费者：读消息从Kafka

前言读完本文，你将了解到如下知识点：kafka的消费者和消费者组如何正确使用kafkaconsumer常用的kafkaconsumer配置消费者和消费者组什么是消费者？
weare_b646·2021-06-12 06:42

消费者

1：订阅主题和分区KafkaConsumer.subscribe有下面四种方法，可以一次性订阅多个主题，并且自定义在均衡监听器方法(ConsumerRebalanceListener)，subscribe
TJ_yyy·2021-06-09 09:08

demo-SimpleConsumer

importorg.apache.kafka.clients.consumer.ConsumerRecord;importorg.apache.kafka.clients.consumer.ConsumerRecords;importorg.apache.kafka.clients.consumer.KafkaConsumer
0ba95e9513d3·2021-06-06 15:02

怎么理解 Kafka 消费者与消费组之间的关系?

与生产者对应的是消费者，应用程序可以通过KafkaConsumer来订阅主题，并从订阅的主题中拉取消息。
·2021-02-21 15:18

怎么理解 Kafka 消费者与消费组之间的关系?

与生产者对应的是消费者，应用程序可以通过KafkaConsumer来订阅主题，并从订阅的主题中拉取消息。
·2021-01-29 21:16

怎么理解 Kafka 消费者与消费组之间的关系?

与生产者对应的是消费者，应用程序可以通过KafkaConsumer来订阅主题，并从订阅的主题中拉取消息。
码农架构·2021-01-29 15:33

Python Kafka 报错：ImportError: cannot import name 'KafkaConsumer'

importsysfromkafkaimportKafkaConsumerdefkafkatest():print"Step1complete"consumer=KafkaConsumer('test'
Young先生·2021-01-13 03:48

源码分析Kafka专栏

1、初识KafkaProducer生产者2、源码分析Kafka消息发送流程(文末附流程图)3、KafkaProducerSender线程详解（含详细的执行流程图）4、初始KafkaConsumer消费者
中间件兴趣圈·2020-12-05 20:45

kafka多个消费者消费一个topic_Kafka 服务中消费者创建详解

与生产者对应的是消费者，应用程序可以通过KafkaConsumer来订阅主题，并从订阅的主题拉取消息。
weixin_39560064·2020-11-29 01:36

(五)Kafka的消费者原理及使用详解

Kafka消费者代码样例读取Kafka消息只需要创建一个KafkaConsumer，除此之外还需要使用四个基本属性，bootstr
Natasha·2020-11-13 11:33

KafkaConsumer 源码解读

首先就是五百行的注释了如果在使用完毕不Close掉Consumer的话会造成TCP连接的内存泄漏消费者不是线程安全的调用老Broker不支持的新特性时会收到UnsupportedVersionException消费者偏移量有两种更新方式随着每一次调用poll()方法自动前进调用commitSync()/commitAsync()方法主动提交偏移量，默认也会定时提交(5S)相同group.id的消费
意梦春秋·2020-10-11 06:12

Kafka消费与心跳机制

Kafka提供了非常简单的消费API，使用者只需初始化Kafka的BrokerServer地址，然后实例化KafkaConsumer类即可拿到Topic中的数据。
哥不是小萝莉·2020-09-28 08:00

项目小结：Kafka队列有序数据顺序执行 + 高tps + 高吞吐

（如Mysql的binlog日志）要求尽可能做到提高tps和吞吐量设计思路KafkaConsumer线程只负责接收数据，不再处理数据和业务逻辑；另起多线程处理接收到的数据KafkaConsumer线程从对应
super_man_0820·2020-09-17 13:20

Flink的KafkaConnector使用简介

KafkaConsumner基本使用篇Flink通过KafkaConsumer从Kafka的一个（或多个）Topic中读取数据，
李梓杨·2020-09-17 09:32

Kafka -提交偏移量和优雅的退出程序

Kafka-提交偏移量和优雅的退出程序一、KafkaConsumer类常用的方法及解释参考文档二、提交偏移量参考文档三、优雅的退出程序参考文档
果不其燃·2020-09-16 13:28

Kafka Consumer 消费逻辑

Kafka消费逻辑简介：本文主要叙述KafkaConsumer消费逻辑(本文使用的是flink中的Kafka-client)，是如何获取获取数据，这里直奔主题，从KafkaConsumer直接看起来。
leileibest_437147623·2020-09-15 22:27

Kafka Producer拦截器

Kafka中的拦截器（Interceptor）是0.10.x.x版本引入的一个功能，一共有两种：KafkaProducer端的拦截器和KafkaConsumer端的拦截器。
weixin_34348111·2020-09-15 15:32

kafka消费者

kafkaconsumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。
suphieLiang·2020-09-15 15:41

Kafka Consumer接口

KafkaConsumer接口http://www.cnblogs.com/fxjwind/p/3794255.html对于kafka的consumer接口，提供两种版本，high-level一种high-level
strawbingo·2020-09-15 15:36

Kafka系列（21）java消费者是如何管理Tcp连接的

消费者端主要的程序入口是KafkaConsumer类。
longdada007·2020-09-15 14:21

KafkaConsumer

KafkaConsumer可以从Kafka集群中消费记录。KafkaConsumer客户端明确的处理KafkaBrokers的失败,并且明确的在Kafka集群中获取topic分区信息。
sunning9001·2020-09-15 11:24

flink kafkaconsumer线上问题：Marking the coordinator 2147483647 dead.

错误日志：解决方案：参考文章：http://www.bubuko.com/infodetail-2332804.html修改参数：props.setProperty("fetch.max.wait.ms","60000");props.setProperty("session.timeout.ms","500000");props.setProperty("max.partition.fetch.
bianfulin_·2020-09-15 09:46

kafka consumer消费者 offset groupID详解

kafkaconsumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。
suphieLiang·2020-09-14 01:17

Consume

新版本consumer的入口类是org.apache.kafka.clients.consumer.KafkaConsumer。
初阳Zz·2020-09-13 05:55

kafka中kafkaConsumer的poll拉取方法

1.一开始以为poll()方法里传的是Kafka返回的记录条数，但其实是传的时间（ms）2.Kafka轮询一次就相当于拉取（poll）一定时间段broker中可消费的数据，在这个指定时间段里拉取，时间到了就立刻返回数据。3.例如poll（5000）：即在5s中内拉去的数据返回到消费者端原文：https://blog.csdn.net/weixin_41227335/article/details/
nanfeiliulanghan·2020-09-12 06:14

kafka消息消费原理

其他分区的数据就无法接收//消费指定分区的时候，不需要再订阅//kafkaConsumer.subscribe(Collections.singletonList(topic));//消费指定的分区TopicPartitiontopicPartition
zhangxm_qz·2020-09-12 04:40

flink消费kafka报错：org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V

flink消费kafka上数据时报错：Causedby:java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.assign
kangker·2020-09-11 17:04

配置kafka消费上次位置

#配置zookeeper地址zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181#配置kafkaConsumer的brokerListbootstrap.servers
忧伤的橘子·2020-08-24 16:43

Kafka源码之KafkaConsumer分析之ConsumerNetworkClient

我们先来看一下KafkaConsumer几个核心的方法：subscribe：订阅指定的Topic，并为消费者消费者自动分配分区assign：用户手动指定的Topic，并且指定消费的分区。
赵银龙·2020-08-23 06:20

Flume整合Kafka框架

流程图如图所示，此处把kafkasink转接给kafkaconsumer，之后会把kafka消息对接过sparkStreaming处理*先启动zookeeper再启动kafka*先启动flume监听，在启动
冷梦颜情·2020-08-23 04:38

Kafka 2.5.0发布——弃用对Scala2.11的支持

增加了很多新功能：下载地址：https://kafka.apache.org/downloads#2.5.0对TLS1.3的支持（默认为1.2）引入用于KafkaStreams的Co-groups用于KafkaConsumer
xiangwang2206·2020-08-23 04:07
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他