consumergroup

RocketMQ中PullConsumer的启动源码分析

DefaultMQPullConsumer的构造方法：1publicDefaultMQPullConsumer(finalStringconsumerGroup,RPCHookrpcHook){2this.consumerGroup
松饼人·2019-08-13 00:00

Spring Cloud Stream总结

通常，在将应用程序绑定到给定目标时，最好始终指定consumergroup2、destinationbinder：与外部消息系统通信的组件，为构造Binding提供了2个方法，分别是bindConsumer
ZeroOne01·2019-08-11 21:45

安装kafka

broker中（push）Consumer：消息的消费者，负责从kafka中读取数据（pull），老版本的消费者需要依赖zk，新版本的不需要Topic:主题，相当于是数据的一个分类，不同topic存放不同的数据ConsumerGroup
不愿透露姓名的李某某·2019-07-29 10:56

Golang的Kafka 框架支持consumer group

golang的kafka框架有很多种，sarama是一种比较常用的，是用golang写的，但是不能支持consumergroup。
conggova·2019-07-26 11:09

Consumer主要参数

、group.id、key.deserializer、value.deserializer）外，Java版本的consumer还提供了很多其他非常重要的参数：session.timeout.ms：用于consumergroup
星辰fml·2019-07-15 09:10

kafka如何保证消息有序

producer将消息发送到指定partition分区解析：方案一：kafka默认保证同一个partition分区内的消息是有序的，则可以设置topic只使用一个分区，这样消息就是全局有序，缺点是只能被consumergroup
imfx·2019-07-10 22:00

Kafka查看topic、consumer group状态命令，你也是这样的吗

最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开始消费数据，于是学习了一下查看kafkabroker里topic和consumergroup
java1856905·2019-07-05 19:03

Kafka分区分配策略

阅读更多按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。
flylynne·2019-06-26 23:00

kafka与zk的关系（一）

一个典型的kafka集群中包含若干个Producer，若干个broker（一般broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个zk集群，kafka通过zk管理集群配置，选举
crossroads10·2019-06-25 21:03

Kafka分区分配策略(Partition Assignment Strategy)

我们又知道，Kafka存在ConsumerGroup的概念，也就是group.id一样的Consumer，这些Consumer属于同一个Consumer
Alwaysdazz·2019-06-23 13:55

kafka架构分析和配置使用整理

ApacheKafka是开源的分布式流处理平台,也是高吞吐量的分布式跨平台订阅消息系统,主要包含Broker服务器、Topic消息类别、Partition物理分区、Producer生产者、Consumer消费者、ConsumerGroup
WangCw的夏天·2019-06-21 17:43

springboot集成kafka(producer篇)

前面两篇文章大致上了讲了kafka的一些原理topic，producer，consumeroffset，partition，consumergroup的一些概念。
全村最靓的那个仔·2019-06-05 14:34

Kafka 的基础架构 工作流程及文件存储机制

1.Kafka的基础架构1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）ConsumerGroup
Demo_chen·2019-05-23 17:47

Pulsar 与 Kafka 消费模型对比

kafkakafka属于Stream的消费模型，为了支持多partition的消费关系，引入了consumergroup的概念，同时支持在消费端动态的reblance操作，当多个Consumer订阅了同一个
wolf4j·2019-05-15 13:17

Kafka学习笔记

producer//消息生产者consumer//消息消费者consumergroup//消费者组kafkaserver//broker,kafka服务器topic//主题,副本数,分区.zookeeper
DB_BOY·2019-04-09 16:07

RocketMQ技术总结

Consumer:消息消费者，消费MQ上的消息的应用程序ConsumerGroup:消费者组，消费同一类消息的多个consumer实例组成一个消费者组。
OwenFang123·2019-04-07 23:57

ROCKETMQ获取不到消息、消费缓慢、或只能收到一部分消息

1.在配置正确的情况下首先要注意：rocketmq问题汇总-一个consumerGroup只对应一个topic对于同一个Topic有多个消费者，注明同组即可（但多组会导致消费错误）。
YukonChen·2019-04-03 14:43

rockermq & kafka 消费限制

kafkatopic下的一个分区只能被同一个consumergroup下的一个consumer线程来消费，但反之并不成立，即一个consumer线程可以消费多个分区的数据，比如Kafka提供的ConsoleConsumer
大海之中·2019-03-15 16:23

Kafka Consumer Rebalance

每个consumergroup(cg)在zk下都维护一个”/consumers/[group_name]/ids”路径，在此路径下，使用临时节点记录属于此cg的消费者的Id，该Id信息由对应的consumer
我终于有blog了·2019-03-13 14:14

Kafka Consumer

允许使用consumergroup来与broker进行交互以实现负载均衡。consumer维护着到broker的TCP链接以便获取数据。
雨钓Moowei·2019-02-14 22:34

Kafka提交偏移量的五种方式

/kafka-consumer-groups.sh--describe--bootstrap-server192.168.153.128:9092--groupConsumerGroup3Consumergroup'ConsumerGroup3
Sara2018·2019-02-01 17:55

kafka广播和单播

使用ConsumerhighlevelAPI时，同一Topic的一条消息只能被同一个ConsumerGroup内的一个Consumer消费，但多个ConsumerGroup可同时消费这一消息。
要*刚的csdn·2019-01-29 15:02

【精】Kafka详解与梳理

但是也可以一台主机多个broker服务，只要端口不一样，存储路径不一样就可以了【不推荐】zookeeper服务：管理broker集群、管理元数据producer生产者：发布消息-主题consumer消费者：消费消息consumergroup
FireDragons·2019-01-11 16:59

Kafka基本概念和结构

基本概念Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程、代码、服务Consumer：消息和数据的消费者，订阅数据（topic）并且处理其发布的消息的进程、服务、代码ConsumerGroup
mr_O-O·2019-01-01 17:39

Kafka基本概念和结构

基本概念Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程、代码、服务Consumer：消息和数据的消费者，订阅数据（topic）并且处理其发布的消息的进程、服务、代码ConsumerGroup
mr_O-O·2019-01-01 17:39

一次KAFKA消费者异常引起的思考

o.a.kakfa.clients.consumer.internals.AbstractCordinatorMarkingthecoordinator(39.0.2.100)asdead.原因：经过一番排查，发现consumergroup
zhanjia·2018-12-25 10:15

RocketMQ 最新版本PushConsumer配置参数详解

RocketMQ最新版PushConsumer配置参数详解1、Push消费模式下的配置2、consumerGroup3、messageModel4、consumeFromWhere5、allocateMessageQueueStrategy6
一片-绿叶·2018-12-21 19:42

rocketmq问题汇总-一个consumerGroup只对应一个topic

原文地址：rocketmq问题汇总-一个consumerGroup只对应一个topic1同一个订阅组内不同Consumer实例订阅不同topic消费混乱问题调查图1：背景说明：如图1左半部分，假设目前的关系如下
Hatoandaburedo·2018-12-04 18:29

Kafka概念和关于springboot配置Kafka参数详解

1.基本概念*Producer:消息生产者，往Topic发布消息*Consumer:消息消费者，往Topic取消息并处理*ConsumerGroup:topic可以广播给不同的group，一个group
文以.·2018-11-26 15:49

kafka工具包指南-翻译

ConsumerOffsetCheckerThistoolhasbeenremovedinKafka1.0.0.Usekafka-consumer-groups.shtogetconsumergroupdetails.Displaysthe:ConsumerGroup
扎克begod·2018-11-25 16:53

Kafka的Consumer主要参数

3.2.2.2group.id该参数指定的是consumergroup的名字，它能够唯一标识一个consumergroup。通常设置一个有业务意义的名字就可以了。
拓子轩·2018-11-25 15:00

Kafka的Consumer主要参数

3.2.2.2group.id该参数指定的是consumergroup的名字，它能够唯一标识一个consumergroup。通常设置一个有业务意义的名字就可以了。
拓子轩·2018-11-25 15:00

Kafka学习之路 （二）Kafka的架构

集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup
小左先森·2018-11-10 23:07

Kafka源码之KafkaConsumer分析之Rebalance

我们先来看一下哪些情况会发生Rebalance操作：1、有新的消费者加入ConsumerGroup2、有消费者宕机下线。
赵银龙·2018-10-28 19:03

细谈RocketMQ的消费模式

之前我们讲过consumergroup的概念，即消费同一类消息的多个consumer实例组成一个消费者组，也可以称为一个co
Bolon0708·2018-10-17 15:48

flume消费kafka消息的offset查看方法

kafka版本1.0.1flume版本1.8.0 offset已经不在zookeeper存储了，存储在__consumer_offsets这个topic里面，具体哪个consumergroup存储在这个
loveProLife·2018-09-27 20:22

Kafka工作流程-分区分配策略

当以下事件发生时，Kafka将会进行一次分区分配:同一个ConsumerGroup内新增消费者消费者离开当前所属的ConsumerGroup，包括shutsdown或crashes订阅的主题新增分区：将分区的所有权从一个消费者移到另一个消费者称为重新平衡
似梦似意境·2018-09-20 11:33

Kafka常用命令收录

Topic39.增加topic的partition数410.生产消息411.消费消息412.查看有哪些消费者Group413.查看新消费者详情514.查看Group详情515.删除Group516.设置consumergroup
一见·2018-09-09 18:13

Kafka详解二Java程序实现发送与接收数据

1、ConsumerGroup：一个ConsumerGroup包含多个consumer,这个是预先在配置文件中配置好的。各个consume
风的灵感·2018-09-03 17:01

Kafka系列之(1)——Kafka概念和架构

每个consumer属于一个特定的consumergroup（可为每个consumer指定groupname，若不指定groupname则属于默认的group）。
康康不遛猫·2018-08-29 19:42

Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

Coordinator用于管理ConsumerGroup中各个成员，负责消费offset位移管理和ConsumerRebalance。
中间件小哥·2018-08-15 11:46

Kafka学习笔记

一个典型的kafka集群包含若干个Producer、若干个Broker、若干个ConsumerGroup以及一个Zookeeper集群。
徐by小宝·2018-07-21 11:52

RocketMq ConsumerGroup Tag对消费的影响

官方对consumer的定义如下：Similartopreviouslymentionedproducergroup,consumersoftheexactlysamerolearegroupedtogetherandnamedConsumerGroup.ConsumerGroupisagreatconceptwithwhichachievinggoalsofload-balanceandfaul
M_O_·2018-07-08 20:43

kafka的partition如何分布到不同的broker上，consumerGroup组员和partition之间如何做负载均衡，kafka常用命令

1、partition如何分布到不同的broker上下面给出kafka在实现分区分布到各个broker上的算法实现，可以通过创建topic，设置副本数验证publicvoidkafkaProducter(){//partitions创建的分区，比如我创建了一个topic，//设置的副本是1时，partitions=partition*1;//设置的副本为2时，partitions=partitio
燕少༒江湖·2018-07-04 13:05

Hadoop————Kafka强化

producer//消息生产者consumer//消息消费者consumergroup//消费者组kafkaserver//broker,kafka服务器topic//主题,副本数,分区.2、安装kafaka0
Jorocco·2018-06-25 20:00

RocketMQ——广播消费模式与集群消费模式

1.简介广播消费指的是：一条消息被多个consumer消费，即使这些consumer属于同一个ConsumerGroup,消息也会被ConsumerGroup中的每个Consumer都消费一次，广播消费中
东天里的冬天·2018-06-25 16:54

RocketMQ之Pull消费者客户端启动

我们先看其构造方法publicDefaultMQPullConsumer(finalStringconsumerGroup,RPCHookrpcHook){this.consumerGroup=consumerGroup
泮小俊233·2018-06-19 17:29

关于Kafka的其他一些内容，堆积情况，retention，auto.offset.reset

可以命令行查看某consumergroup所有consumer的offset，和落后的多少，也就是说可以查看
鲸落大叔·2018-06-15 21:45

RocketMQ部分数据消费不了问题排查

打开RocketMq-Console-Ng查看如下图形式：备注：第一反应是ConsumerGroup内订阅了多个topic？（为什么这么怀疑，下次分析）。
匠心零度·2018-05-17 08:08

RocketMq-Consumer

newDefaultMQPushConsumer("MyTopic-Consume-Single");//实际调用了publicDefaultMQPushConsumer(StringconsumerGroup){this(consumerGroup
Sysong88·2018-05-11 17:50
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他