KafkaConsumer

kafka消费者总结(三)

这次我们来总结一下kafkaConsumer客户端从brokers集群上拉取拉取消息的过程，首先看一下KafkaConsumer所以依赖的组件：metadata记录了集群的元数据信息netClient表示
coshise·2018-05-06 22:01

kafka消费者总结(一)

kafkaConsumer主要是从kafka上拉取消息的客户端，其基本的使用方法如下：Propertiesprops=newProperties();props.put("bootstrap.servers
coshise·2018-04-21 23:21

linux编译执行java文件

javac-Djava.ext.dirs="/usr/local/kafka_2.10-0.8.2.1/libs"*.javajava-Djava.ext.dirs="/usr/local/kafka_2.10-0.8.2.1/libs"kafkaConsumer
Emiedon·2018-04-13 19:41

kafka原理和实践（四）spring-kafka消费者源码

目录一、kafkaConsumer消费者模型一、kafkaConsumer构造二、消费者容器启动流程正文系列目录kafka原理和实践（一）原理：10分钟入门kafka原理和实践（二）spring-kafka
FAw67J7·2018-04-10 18:36

kafka consumer 停止消费topic

现象在kafkaconsumer(以kafka1.0.0为例)消费topic时，常常会出现程序还在运行，但是已经不消费消息了(kafkaproducer正常生产消息)，使用kafka命令查看，kafka
木号·2018-04-07 12:10

Kafka入门三：几种消费方式

在创建KafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。
像从前那样·2018-04-02 15:49

Kafka源码深度解析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从Kafka0.8.2开始，发布了一套新的Java版的clientapi,KafkaProducer/KafkaConsumer，替代之前的scala版的api。
jokul_51·2018-02-02 14:53

关于KafkaConsumer销毁时发生的错误：KafkaConsumer is not safe for multi-threaded access

关于KafkaConsumer销毁时发生的错误：KafkaConsumerisnotsafeformulti-threadedaccess问题背景：1.web工程启动时，使用Timer来周期执行任务：KafkaConsumer.poll
浪里渔夫·2017-12-29 17:49

python读取Kafka

pipinstallkafka-pythonfromkafkaimportKafkaConsumerimportsettingconf=setting.luyang_kafka_settingconsumer=KafkaConsumer
技术那点事·2017-12-22 16:29

kafka官网示例说明--KafkaConsumer

Kafkaclient会消费kafkacluster中的记录。它将透明地处理Kafka集群中的服务器故障，并透明地适应它在集群内迁移的数据分区。该客户机还与服务器交互，以允许用户组使用消费者组来负载平衡消费(如下所述)。消费者维护TCP连接到必要的代理来获取数据。使用后未能关闭消费者会泄漏这些连接。消费者不是线程安全的。更多细节见多线程处理。偏移量Kafka为分区中的每个记录保留一个数值偏移量。这
盛装吾步·2017-12-18 18:52

KafkaConsumer is not safe for multi-threaded access

问题背景：1.使用ScheduledExecutorService创建一个线程池2.创建多个kafkaConsumer对象，用来接收不同主题的消息3.使用线程池来操作不同的kafkaConsumer对象问题原因
浪里渔夫·2017-12-05 10:22

maven-shade-plugin踩坑记

准备做一个kafkaconsumer.jar命令行工具，采用maven-shade-plugin插件作为打包工具，只修改了main-class配置如下：org.apache.maven.pluginsmaven-compiler-plugin3.7.01.81.81.8org.apache.maven.pluginsmaven-shade-plugin3.1.0false
sanwishe·2017-12-03 16:09

kafka consumer group offset

管理监控kafka主题及分区offset至关重要，原网上很开源流行工具KafkaOffsetMonitor、kafka-manager，旧版offset保存于zookeeper，kafkaconsumer
yangyangmyself·2017-11-18 00:00

Kafka 监控

管理监控kafka主题及分区offset至关重要，原网上很开源流行工具KafkaOffsetMonitor、kafka-manager，旧版offset保存于zookeeper，kafkaconsumer
yangyangmyself·2017-11-18 00:00

kafka控制offset偏移量

通过KafkaConsumer.seek()来控制offset.注意如果设置了手动提交需要commitAsync()否则不生效。
God_Ming·2017-10-16 00:00

聊聊kafka client的auto commit

/org/apache/kafka/clients/consumer/KafkaConsumer.javapublicConsumerRecordspoll(longtim
go4it·2017-10-10 09:58

聊聊kafka client的auto commit

/org/apache/kafka/clients/consumer/KafkaConsumer.javapublicConsumerRecordspoll(longtim
codecraft·2017-10-10 00:00

KafkaConsumer-kafka消费者的Java客户端

本文介绍KafkaConsumer，一个从kafka集群消费记录的java客户端。该客户端是非线程安全的，关于多线程的使用，参见文章的“Multi-threadedProcessing”部分。
cjf_wei·2017-09-24 10:21

记一次kafka消费能力优化

interfaceSource{Listpoll();}2.implclassKafkaSourceimplementSource{Listpoll(){ConsumerRecordsrecords=kafkaConsumer.poll
God_Ming·2017-06-06 15:34

Kafka consumer处理大消息数据问题分析

案例分析处理kafkaconsumer的程序的时候，发现如下错误：ERROR[2016-07-2207:16:02,466]com.flow.kafka.consumer.main.KafkaConsumer
xiaodf·2017-05-25 14:39

java版kafka消费者取不到消息

0.10.2.0zookeeper版本：zookeeper-3.5.2-alpha现在kafka的版本更新到0.10.2.0了，老的版本生产者和消费者实现起来有点麻烦，使用新的KafkaProducer、KafkaConsumer
低调之人·2017-03-29 11:41

Kafka consumer处理大消息数据问题

案例分析处理kafkaconsumer的程序的时候，发现如下错误：ERROR[2017-01-1207:16:02,466]com.flow.kafka.consumer.main.KafkaConsumer
XIAO的博客·2017-01-12 13:00

Kafka消费组(consumer group)

一直以来都想写一点关于kafkaconsumer的东西，特别是关于新版consumer的中文资料很少。
huxihx·2016-12-26 18:00

Kafka源码深度解析－序列9 －Consumer －SubscriptionState内部结构分析

在前面讲了，KafkaConsumer的一个重要部件就是SubscriptionState，这个部件维护了Consumer的消费状态，本篇对其内部结构进行分析。
travi·2016-10-13 14:01

Kafka源码深度解析－序列8 －Consumer －Fetcher实现原理与offset确认机制

KafkaConsumer的几个核心部件在进一步介绍之前，我们先通过KafkaConsumer的构造函数，看一下其核心部件：privateKafkaConsumer(ConsumerConfigconfig
travi·2016-10-12 13:25

kafka教程1：Consumer，消费者

org/apache/kafka/clients/consumer/KafkaConsumer.html2、Kafka的Maven依赖如下org.apache.k
lianjunzongsiling·2016-09-22 14:18

kafka使用高级api获取指定数量消息

获取指定数量消息,低级api更好用只不过还未调试通过,后期再跟上.publicMap>getMessages(longmaxReads,longtimeout,Listtopics){stop=false;kafkaConsumer
sudo5zzb·2016-08-15 09:32

kafka好文章

：Kafka背景及架构介绍Kafka设计解析（二）：KafkaHighAvailability（上）Kafka设计解析（三）：KafkaHighAvailability（下）Kafka设计解析（四）：KafkaConsumer
carlosfu·2016-07-15 22:00

kafka好文章

：Kafka背景及架构介绍Kafka设计解析（二）：KafkaHighAvailability（上）Kafka设计解析（三）：KafkaHighAvailability（下）Kafka设计解析（四）：KafkaConsumer
carlosfu·2016-07-15 22:00

Flink流计算编程--Kafka+Flink整合demo

1、简介1.1、KafkaConsumer提供了2种API：highlevel与lowlevel（SimpleConsumer）。
lmalds李麦迪·2016-06-29 11:13

Kafka 个人总结

从初期的FE项目中单纯调研KafkaProducer怎么使用到后面的在弦上项目使用KafkaConsumer期间，对Kafka有了一个大致的了解。
cimuhuan·2016-05-06 12:00

kafka consumer不能消费消息及其处理办法

我这里的KafkaConsumer代码是拷贝网上的，就是开一个线程监听kafkatopic，一有消息就处理。
allen_jinjie·2016-02-23 10:51

KafkaConsumer0.9（三）

 Propertiesprops=newProperties(); props.put("bootstrap.servers","localhost:9092"); props.put("group.id","test_group"); props.put("enable.auto.commit","true"); props.put("auto.commit.interval.ms","
kane_xie·2016-01-18 10:00

KafkaConsumer0.9（二）

先看一个简单的KafkaConsumer例子： Propertiesprops=newProperties(); props.put("bootstrap.servers","localhost:9092
kane_xie·2016-01-12 15:00

KafkaConsumer0.9（一）

Kafka0.9发布了新版consumerclient。它与旧版本最大的区别是移除了基于zookeeper的high-levelconsumer和low-levelSimpleConsumer，而代之于一个统一的consumerAPI，它集成了之前high-levelconsumer的group管理功能和low-levelconsumer的offset控制功能。 新的consumer实现了一套新的
kane_xie·2016-01-12 15:00

跟我学Kafka源码之Consumer分析

Consumer的配置文件如下：KafkaConsumer配置: group.id:指定consumer所属的consumergroup consumer.id:如果不指定会自动生成 socket.timeout.ms
flychao88·2016-01-04 15:00

storm-kafka（storm spout作为kafka的消费端）

storm是grovvy写的kafka是scala写的storm-kafkastorm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka
jethai·2015-10-09 16:55

storm-kafka（storm spout作为kafka的消费端）

storm是grovvy写的kafka是scala写的storm-kafka storm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka
jethai·2015-10-09 16:55

Kafka Consumer的底层API- SimpleConsumer

KafkaConsumer的底层API-SimpleConsumer1.Kafka提供了两套API给ConsumerThehigh-levelConsumerAPITheSimpleConsumerAPI
miscellanea·2015-06-21 18:00

Kafka Consumer的底层API- SimpleConsumer

原文链接：https://my.oschina.net/u/1377774/blog/469271KafkaConsumer的底层API-SimpleConsumer1.Kafka提供了两套API给ConsumerThehigh-levelConsumerAPITheSimpleConsumerAPI
chongxungu8275·2015-06-21 18:00

Kafka Consumer接口

KafkaConsumer接口http://www.cnblogs.com/fxjwind/p/3794255.html对于kafka的consumer接口，提供两种版本， high-level一种
strawbingo·2015-04-29 14:00

apache kafka系列之性能测试报告(虚拟机版)

测试方法在其他虚拟机上使用Kafka自带 kafka-producer-perf-test.sh脚本进行测试Kafka写入性能尝试使用 kafka-simple-consumer-perf-test.sh脚本测试KafkaConsumer
allantaylor81·2015-04-01 17:00

kafka consumer gc问题探讨

kafkaconsumer目前提供两种API，分别为high-levelapi和SimpleConsumerapi,通常我们都是使用
xyl520·2015-03-14 14:00

apache kafka系列之性能测试报告(虚拟机版)

测试方法在其他虚拟机上使用Kafka自带 kafka-producer-perf-test.sh脚本进行测试Kafka写入性能尝试使用 kafka-simple-consumer-perf-test.sh脚本测试KafkaConsumer
lizhitao·2014-06-22 21:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他