kafkaconsumer

5.3、Flink流处理（Stream API）- Connector（连接器） 之 Apache Kafka Connector

目录安装KafkaKafka1.0.0+Connector兼容性从0.11迁移到通用的KafkaConnector上用法KafkaConsumer反序列化类DeserializationSchema消费者开始消费位置配置
飞朋·2019-09-08 21:55

springboot资源初始化的几种方式

摘要在实际项目中，我们需要在springboot服务启动后做一些初始化工作，例如线程池初始化、文件资源加载、常驻后台任务启动（比如kafkaconsumer）等。
skyarthur·2019-08-25 00:00

python kafka获取对应时间范围内的消息实例代码

应用offsets_for_times前提是kafka版本0.11及以上版本并且跟producer配置也有关系使用KafkaConsumer.offsetsForTimes要确认集群已开启log.message.timestamp.type
longlovefilm·2019-08-20 21:37

Kafka实践五：KafkaProducer和KafkaConsumer的API使用

参考官网文档：添加链接描述参考博客：添加链接描述参考：添加链接描述参考：添加链接描述一、KafkaProducer的原理和使用发送过程KafkaAPI中使用KafkaProducer类发送数据，kafkaProducer是线程安全的，可以在多个线程之间共享生产者实例，其发送模型如下：二、分析从一段基础的发送代码分析起，首先maven配置的pom.xml主要引入kafka-clients包：1.0.
有腹肌的小蝌蚪_·2019-08-19 17:47

《Kafka 并不难学》

Kafka的生产者对象是线程安全的；多线程任务提交用的ExecutorService：KafkaConsumer是非多线程并发安全的；转换操作聚合操作
chenxuanhanhao·2019-08-12 10:37

kafka消费者组概念

https://blog.csdn.net/cgs666/article/details/85257819应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。
qq_18219755·2019-08-09 16:15

多线程消费一个队列问题

贴代码往队列里push数据voidKafkaConsumer::msgConsume(RdKafka::Message*message,void*opaque){KafkaConsumer::DatacData
终结者X·2019-08-02 11:38

Kafka2.0消费者客户端源码分析

1KafkaConsumer构造器初始化参数配置。初始化消费者网络客户端ConsumerNetworkClient。
O_Neal·2019-07-16 21:12

【Kafka】《Kafka权威指南》——提交和偏移量

KafkaConsumer(消费者)每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，我们因此可以追踪到哪些记录是被群组里的哪个消费者读取的。
电：18230062509·2019-06-06 11:19

【Kafka】《Kafka权威指南》——提交和偏移量

KafkaConsumer(消费者)每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，我们因此可以追踪到哪些记录是被群组里的哪个消费者读取的。
weknow619·2019-06-06 08:00

【Kafka】《Kafka权威指南》——从Kafka读取数据

应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。从Kafka读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。
weknow·2019-06-06 08:25

Kafka消费者源码解析之三ConsumerNetworkClient

RequestFutureCompletionHandler内部类UnsentRequests内部类PollCondition内部接口主要方法maybeTriggerWakeup方法poll方法小结开篇通过消费者第一篇KafkaConsumer
一头秀发的刘大叔·2019-05-13 17:21

Kafka 消息序列化和反序列化（下）

有序列化就会有反序列化，反序列化的操作是在KafkaConsumer中完成的，使用起来只需要配置一下key.deserializer和value.deseriaizer。
Java_老男孩·2019-05-13 16:07

Kafka Producer 拦截器

Kafka中的拦截器（Interceptor）是0.10.x.x版本引入的一个功能，一共有两种：KafkaProducer端的拦截器和KafkaConsumer端的拦截器。
Java_老男孩·2019-05-11 20:27

Spring-Kafka源码解析

文章目录Spring-KafkakafkaConsumerkafkaConsumer消费者模型spring-kafkaconsumer实现ConsumerConfigskafkaProducerkafkaProducer
子毅168·2019-04-29 22:21

Kafka消费者源码解析之一KafkaConsumer

KafkaConsumer解析引言消费者的helloword一人之下的poll方法默默无闻的pollForFetches方法小结引言前面几篇主要针对kafka生产者流程，介绍了主要的类和运作流程，大致流程清晰
一头秀发的刘大叔·2019-04-25 19:50

你绝对能看懂的Kafka源代码分析-KafkaConsumer类代码分析

目录：《KafkaProducer设计分析》《KafkaProducer类代码分析》《RecordAccumulator类代码分析》《Sender类代码分析》《NetworkClient类代码分析》-------------------------------------------------------------------上一节《NetworkClient类代码分析》前文我们分析了Kafk
稀有气体·2019-04-10 17:02

Kafka 消费者

应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。
FlinkMe·2019-03-24 23:00

使用Flink读取Kafka中的消息

Flink KafkaConsumer和Flink的Checkpint机制进行了整合，以此提供了exactly-once处理语义。
JavaGod·2019-01-28 00:00

Kafka源码分析-Consumer（11）-总结（2）

传递保证语义传递保证语义.pngConsumerGroupRebalance设计：ConsumerGroupRebalance的设计.png消费者执行的简要过程：KafkaConsumer简要流程.png
陈阳001·2019-01-21 19:37

Flink Kafka-Connector Consumer详解

KafkaConsumer消费策略1、setStartFromGroupOffsets()【默认消费策略】默认读取上次保存的offset信息，如果是应用第一次启动，读取不到上次的offset信息，则会根据这个参数
Jiny_li·2019-01-14 19:38

Kafka从入门到精通套视频教程

2第二课Kafka架构上第二课kafka架构下第三课数据复制与Failover第四课KafkaZookeeper上第四课KafkaZookeeper下第五课KafkaLeaderElection第六课KafkaConsumer
hzfy001·2019-01-14 11:16

Kafka源码分析-Consumer（3）-ConsumerNetworkClient分析

一.概述KafkaConsumer类KafkaConsumer不是个线程安全的类。为了便于分析，我们认为消费者所有的操作都是在同一个线程中完成，所以不用考虑锁的问题。
陈阳001·2019-01-13 18:50

Kafka源码分析-Consumer（11）-总结（1）

现在回顾KafkaConsumer的整体架构。
陈阳001·2019-01-06 16:39

Kafka实践之Consumer

本文涉及到的所有代码详见Github上手KafkaConsumer是比较容易的，这里以原生的JavaAPI为例，通常的实现逻辑如下所示：publicvoidconsumer(){Stringbrokers
逸辰杳·2019-01-01 22:01

一次KAFKA消费者异常引起的思考

问题描述：线上出现一台服务器特别慢，于是关闭了服务器上的kafkabroker.关闭后发现一些kafkaconsumer无法正常消费数据了,日志错误：o.a.kakfa.clients.consumer.internals.AbstractCordinatorMarkingthecoordinator
zhanjia·2018-12-25 10:15

kafka之consumer参数auto.offset.reset

auto.offset.reset：可理解为kafkaconsumer读取数据的策略，本地用的kafka版本为0.10，因此该参数可填earliest|latest|none。
tingtingding·2018-12-06 18:30

Kafka python

消费者kafka_consumer.pyfromkafkaimportKafkaConsumerif__name__=="__main__":consumer=KafkaConsumer("kafkatest
yepeng05·2018-12-06 16:20

Kafka源码分析-Consumer（4）-SubscriptionState分析

KafkaConsumer从Kafka拉取消息时发送的请求时FetchRequest,其中需要指定消费者希望拉取的起始消息的offset。
陈阳001·2018-11-24 16:02

KafkaConsumer.java

publicclassKafkaConsumerimplementsConsumer{//clientId的生成器privatestaticfinalAtomicIntegerCONSUMER_CLIENT_ID_SEQUENCE=newAtomicInteger(1);//comsumer的唯一idprivatefinalStringclientId;//控制consumer和服务端Coordi
停车难·2018-11-14 21:43

KafkaConsumer多线程优化

优化目的KafkaConsumer是以单线程模式运行，为了提升consumer的消费能力，多线程是一个很好的选择。
雪風K·2018-11-14 15:58

Kafka源码之KafkaConsumer分析之Rebalance

我们先来看一下哪些情况会发生Rebalance操作：1、有新的消费者加入ConsumerGroup2、有消费者宕机下线。3、有消费者主动退出ConsumerGroup4、ConsumerGroup订阅的任一Topic出现分区数量的变化5、消费者调用unsubscribe取消对某Topic的订阅下面对Reblance操作的具体实现进行分析第一阶段Rebalance操作的第一步就是查找GroupCoo
赵银龙·2018-10-28 19:03

Kafka源码之KafkaConsumer分析之offset操作

当消费者正常消费过程中以及Rebalance操作开始之前，都会提交一次Offset记录Consumer当前的消费位置。在SubscriptionState中使用TopicPartitionState记录了每个TopicPartition的消费状况，TopicPartitionState.position字段则记录了消费者下次要从服务端获取的消息的offset。publicvoidcommitOff
赵银龙·2018-10-28 00:00

《Kafka实战》之consumer的使用和手动管理offset

importorg.apache.kafka.clients.consumer.ConsumerRecord;importorg.apache.kafka.clients.consumer.ConsumerRecords;importorg.apache.kafka.clients.consumer.KafkaConsumer
lyzx_in_csdn·2018-09-25 22:02

java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;

 Flink入门程序异常，记录一下跟大家分享。SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J:Defaultingtono-operation(NOP)loggerimplementationSLF4J:Seehttp://www.slf4j.org/codes.html#StaticLoggerBinderforf
Abandon_Sun·2018-09-10 15:05

重置Kafka Consumer偏移量

2017/06/05/kafka-consumer-problem/产生原因中午在生产数据库执行了升级sql，导致数据表结构变更，产生了大量的binlog信息，后台服务(order-service)使用kafkaconsumer
devotedwife·2018-08-21 21:23

Kafka消费者——从 Kafka读取数据

应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。从Kafka读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。
消失er·2018-08-11 17:33

Kafka Consumer多线程实例

鉴于目前这方面的资料并不是很多，本文将尝试给出一个利用KafkaConsumer编写的多线程消费者实例，希望对大家有所帮助。这套API最重要的入口就是KafkaConsume
clypm·2018-06-08 09:19

kafka消费者总结(三)

这次我们来总结一下kafkaConsumer客户端从brokers集群上拉取拉取消息的过程，首先看一下KafkaConsumer所以依赖的组件：metadata记录了集群的元数据信息netClient表示
coshise·2018-05-06 22:01

kafka消费者总结(一)

kafkaConsumer主要是从kafka上拉取消息的客户端，其基本的使用方法如下：Propertiesprops=newProperties();props.put("bootstrap.servers
coshise·2018-04-21 23:21

linux编译执行java文件

javac-Djava.ext.dirs="/usr/local/kafka_2.10-0.8.2.1/libs"*.javajava-Djava.ext.dirs="/usr/local/kafka_2.10-0.8.2.1/libs"kafkaConsumer
Emiedon·2018-04-13 19:41

kafka原理和实践（四）spring-kafka消费者源码

目录一、kafkaConsumer消费者模型一、kafkaConsumer构造二、消费者容器启动流程正文系列目录kafka原理和实践（一）原理：10分钟入门kafka原理和实践（二）spring-kafka
FAw67J7·2018-04-10 18:36

kafka consumer 停止消费topic

现象在kafkaconsumer(以kafka1.0.0为例)消费topic时，常常会出现程序还在运行，但是已经不消费消息了(kafkaproducer正常生产消息)，使用kafka命令查看，kafka
木号·2018-04-07 12:10

Kafka入门三：几种消费方式

在创建KafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。
像从前那样·2018-04-02 15:49

Kafka源码深度解析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从Kafka0.8.2开始，发布了一套新的Java版的clientapi,KafkaProducer/KafkaConsumer，替代之前的scala版的api。
jokul_51·2018-02-02 14:53

关于KafkaConsumer销毁时发生的错误：KafkaConsumer is not safe for multi-threaded access

关于KafkaConsumer销毁时发生的错误：KafkaConsumerisnotsafeformulti-threadedaccess问题背景：1.web工程启动时，使用Timer来周期执行任务：KafkaConsumer.poll
浪里渔夫·2017-12-29 17:49

python读取Kafka

pipinstallkafka-pythonfromkafkaimportKafkaConsumerimportsettingconf=setting.luyang_kafka_settingconsumer=KafkaConsumer
技术那点事·2017-12-22 16:29

kafka官网示例说明--KafkaConsumer

Kafkaclient会消费kafkacluster中的记录。它将透明地处理Kafka集群中的服务器故障，并透明地适应它在集群内迁移的数据分区。该客户机还与服务器交互，以允许用户组使用消费者组来负载平衡消费(如下所述)。消费者维护TCP连接到必要的代理来获取数据。使用后未能关闭消费者会泄漏这些连接。消费者不是线程安全的。更多细节见多线程处理。偏移量Kafka为分区中的每个记录保留一个数值偏移量。这
盛装吾步·2017-12-18 18:52

KafkaConsumer is not safe for multi-threaded access

问题背景：1.使用ScheduledExecutorService创建一个线程池2.创建多个kafkaConsumer对象，用来接收不同主题的消息3.使用线程池来操作不同的kafkaConsumer对象问题原因
浪里渔夫·2017-12-05 10:22

maven-shade-plugin踩坑记

准备做一个kafkaconsumer.jar命令行工具，采用maven-shade-plugin插件作为打包工具，只修改了main-class配置如下：org.apache.maven.pluginsmaven-compiler-plugin3.7.01.81.81.8org.apache.maven.pluginsmaven-shade-plugin3.1.0false
sanwishe·2017-12-03 16:09
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他