consumergroup

Consumer Group设计原理

Kafka消费组(consumergroup)1Kafka的版本很多人在Kafka中国社区(替群主做个宣传，QQ号：162272557)提问时的开头经常是这样的：“我使用的kafka版本是2.10/2.11
MoMeaker·2019-12-28 23:37

Kafka Consumer Rebalance

每个consumergroup(cg)在zk下都维护一个”/consumers/[group_name]/ids”路径，在此路径下，使用临时节点记录属于此cg的消费者的Id，该Id信息由对应的consumer
MoMeaker·2019-12-24 20:48

kafka消费者

(如果一个consumergroup中的consumer个数多于topic中的
七海的游风·2019-12-16 14:04

Kafka实际案例问题

多个consumergroup同时消费一个分区的数据，其中一个先提交了，另一个就丢失了。手动提交offset:防止线程安全问题。如果希望能够严格的不丢数据，解决办法有两个：手动co
小小少年Boy·2019-12-15 09:37

RocketMQ消费者消费消息

publicclassConsumer{publicstaticvoidmain(String[]args)throwsInterruptedException,MQClientException{//使用consumergroup
懒癌正患者·2019-12-13 00:20

rocketmq的重试队列和死信队列

这个重试TOPIC的名字是%RETRY%+consumergroup的名字在控制台上过一会就可以查到。重试的消息在延迟的某个时间点（默认是1
云胜886·2019-12-07 12:22

kafka 集群环境搭建与管理

基础概念介绍与强化1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）Topic：可以理解为一个队列；4）ConsumerGroup
水滴石川1·2019-11-26 21:23

KafkaConsumer重置Offset

更新Offset的三个维度：Topic的作用域重置策略执行方案Topic的作用域--all-topics：为consumergroup下所有topic
t_huanghai·2019-10-30 14:34

Kafka入门-消费者与消费者组

每个消费者都对应一个消费者组（ConsumerGroup）。在Kafka中消息被发布到主题后，这条消息只会被订阅该主题的消费者组的一个消费者消费，该消费者组中的其他消
走了关门的耳朵·2019-10-27 00:09

RocketMQ实战(一) - 简介

开始发布即最新4.0.0版本3RocketMQ的特性4RocketMQ基本概念Client端ProducerGroup一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致ConsumerGroup
JavaEdge·2019-10-26 13:54

RocketMQ实战(一) - 简介

开始发布即最新4.0.0版本3RocketMQ的特性4RocketMQ基本概念Client端ProducerGroup一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致ConsumerGroup
公众号-JavaEdge·2019-10-24 13:10

kafka | 消费者组到底是什么？

消费者组，即ConsumerGroup，应该算是Kafka比较有亮点的设计了。那么何谓ConsumerGroup呢？
诡异的笑容·2019-10-21 08:47

【RocketMQ源码学习】- 1. 入门

经历了阿里双十一有哪些名词Producer消息生产者，负责产生消息Consumer消息消费者，负责消费消息ProducerGroup一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致ConsumerGroup
Other+·2019-10-20 17:00

从KafkaConsumer看看Kafka（一）

topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于kafka2.4；Kafka消费模型关键点：  1、Kafka一个消费组（ConsumerGroup
AiFly·2019-10-19 23:00

kafka的maxPollIntervalMs设置太小引发的惨案

具体原因是因为ConsumerCoordinator没有向GroupCoordinator在规定的时间内同步心跳导致GroupCoordinator以为本地consumer节点挂掉了，引发了partition在consumerGroup
木西-Muxy·2019-10-18 12:00

RocketMQ最佳实践之千问千答

Q1：同一个ConsumerGroup组的所有consumer能均衡消费同一个topic的所有queue吗？
FeelTouch·2019-10-16 23:29

Kafka再平衡机制详解

一般有三种情况会触发再平衡：consumergroup中的新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上；consumer订阅的topic发生变化，比如订阅的topic
艾弗森哇·2019-10-16 16:56

kafka-0-大纲

单机集群常用配置说明kafka-部分原理topic&partition&segment定义partition的物理存储结构分区的意义分段的意义timeindex的意义消息格式leader&集群发现机制consumer&consumergroup
while·2019-10-15 04:02

【Kafka】之 概念（2）

5）`replica`副本（6）`ISR`（in-syncreplica，保持同步的replica集合）（7）`Broker`（8）`Producer`生产者（9）`Consumer`消费者（10）`ConsumerGroup
fanfan4569·2019-10-11 20:38

Kafka heartbeat.interval.ms 与 session.timeout.ms

一个topic往往有多个分区，而我们又会在一个consumergroup里面创建多个消费者消费这个topic，因此：就有了一个问题：哪些的分区的消息交给哪个consumer消费呢？
taj3991·2019-10-09 16:23

Kafka安装步骤

基本概念1.Producer：消息生产者，就是向kafkabroker发消息的客户端2.Consumer：消息消费者，向kafkabroker取消息的客户端3.ConsumerGroup（CG）：消费者组
三度·2019-10-09 10:00

kafka

1.特性1）高吞吐量、低延迟2）支持热扩展3）支持高并发2.组成Producer特指消息的生产者Consumer特指消息的消费者ConsumerGroup消费者组，可以并行消费Topic中partition
别离吟唱浅·2019-10-02 16:00

19-Kafka02

1.核心概念broker:进程producer:生产者consumer:消费者topic:主题partitions:分区(副本数)consumergroup:1.容错性的消费机制2.一个组内，共享一个公共的
CrUelAnGElPG·2019-09-21 21:55

19-Kafka02

1.核心概念broker:进程producer:生产者consumer:消费者topic:主题partitions:分区(副本数)consumergroup:1.容错性的消费机制2.一个组内，共享一个公共的
CrUelAnGElPG·2019-09-21 21:54

Kafka知识点入门学习一

二：Kafka架构原理kafka的特性⑴高吞吐量、低延迟kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition,consumergroup对partition
爱上口袋的天空·2019-09-13 12:03

kafka消息分发策略分析

当我们使用kafka向指定Topic发送消息时，如果该Topic具有多个partition，无论消费者有多少，最终都会保证一个partition内的消息只会被一个Consumergroup中的一个Consumer
bigfan·2019-09-06 12:00

kafka消息分发策略分析

当我们使用kafka向指定Topic发送消息时，如果该Topic具有多个partition，无论消费者有多少，最终都会保证一个partition内的消息只会被一个Consumergroup中的一个Consumer
bigfan·2019-09-06 12:00

kafka消息分发策略分析

当我们使用kafka向指定Topic发送消息时，如果该Topic具有多个partition，无论消费者有多少，最终都会保证一个partition内的消息只会被一个Consumergroup中的一个Consumer
bigfan·2019-09-06 12:00

项目理解（六）消息队列Kafka实现及性能优化

Kafka特性：（1）高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition,consumergroup对partition进行consume
lzw2019sun·2019-09-03 17:24

Kafka 疑问之offset位移

__consumer_offsets中：consumergroup将位移数据保存在brokerpartition端的内部主题中，consumer.poll时，拉取消息前会把位移数据作为普通的kafka消息
完美缺陷·2019-09-03 00:00

Kafka Rebalance机制分析

什么是RebalanceRebalance本质上是一种协议，规定了一个ConsumerGroup下的所有consumer如何达成一致，来分配订阅Topic的每个分区。
gaoyanliang·2019-08-24 17:00

RocketMQ-重试队列

，Broker依然会发送该消息，所以，任何异常都要返回ConsumeConcurrentlyStatus.RECONSUME_LATER，这样MQ会将消息放到重试队列；重试队列名称为：%RETRY%+consumergroup
pigcoffee·2019-08-21 16:07

Kafka Consumer Group和Consumer Rebalance机制

在新建一个Consumer时，我们可以通过指定groupId来将其添加进一个ConsumerGroup中。
伊凡的一天·2019-08-13 12:43

RocketMQ中PullConsumer的启动源码分析

DefaultMQPullConsumer的构造方法：1publicDefaultMQPullConsumer(finalStringconsumerGroup,RPCHookrpcHook){2this.consumerGroup
松饼人·2019-08-13 00:00

Spring Cloud Stream总结

通常，在将应用程序绑定到给定目标时，最好始终指定consumergroup2、destinationbinder：与外部消息系统通信的组件，为构造Binding提供了2个方法，分别是bindConsumer
ZeroOne01·2019-08-11 21:45

安装kafka

broker中（push）Consumer：消息的消费者，负责从kafka中读取数据（pull），老版本的消费者需要依赖zk，新版本的不需要Topic:主题，相当于是数据的一个分类，不同topic存放不同的数据ConsumerGroup
不愿透露姓名的李某某·2019-07-29 10:56

Golang的Kafka 框架支持consumer group

golang的kafka框架有很多种，sarama是一种比较常用的，是用golang写的，但是不能支持consumergroup。
conggova·2019-07-26 11:09

Consumer主要参数

、group.id、key.deserializer、value.deserializer）外，Java版本的consumer还提供了很多其他非常重要的参数：session.timeout.ms：用于consumergroup
星辰fml·2019-07-15 09:10

kafka如何保证消息有序

producer将消息发送到指定partition分区解析：方案一：kafka默认保证同一个partition分区内的消息是有序的，则可以设置topic只使用一个分区，这样消息就是全局有序，缺点是只能被consumergroup
imfx·2019-07-10 22:00

Kafka查看topic、consumer group状态命令，你也是这样的吗

最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开始消费数据，于是学习了一下查看kafkabroker里topic和consumergroup
java1856905·2019-07-05 19:03

Kafka分区分配策略

阅读更多按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。
flylynne·2019-06-26 23:00

kafka与zk的关系（一）

一个典型的kafka集群中包含若干个Producer，若干个broker（一般broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个zk集群，kafka通过zk管理集群配置，选举
crossroads10·2019-06-25 21:03

Kafka分区分配策略(Partition Assignment Strategy)

我们又知道，Kafka存在ConsumerGroup的概念，也就是group.id一样的Consumer，这些Consumer属于同一个Consumer
Alwaysdazz·2019-06-23 13:55

kafka架构分析和配置使用整理

ApacheKafka是开源的分布式流处理平台,也是高吞吐量的分布式跨平台订阅消息系统,主要包含Broker服务器、Topic消息类别、Partition物理分区、Producer生产者、Consumer消费者、ConsumerGroup
WangCw的夏天·2019-06-21 17:43

springboot集成kafka(producer篇)

前面两篇文章大致上了讲了kafka的一些原理topic，producer，consumeroffset，partition，consumergroup的一些概念。
全村最靓的那个仔·2019-06-05 14:34

Kafka 的基础架构 工作流程及文件存储机制

1.Kafka的基础架构1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）ConsumerGroup
Demo_chen·2019-05-23 17:47

Pulsar 与 Kafka 消费模型对比

kafkakafka属于Stream的消费模型，为了支持多partition的消费关系，引入了consumergroup的概念，同时支持在消费端动态的reblance操作，当多个Consumer订阅了同一个
wolf4j·2019-05-15 13:17

Kafka学习笔记

producer//消息生产者consumer//消息消费者consumergroup//消费者组kafkaserver//broker,kafka服务器topic//主题,副本数,分区.zookeeper
DB_BOY·2019-04-09 16:07

RocketMQ技术总结

Consumer:消息消费者，消费MQ上的消息的应用程序ConsumerGroup:消费者组，消费同一类消息的多个consumer实例组成一个消费者组。
OwenFang123·2019-04-07 23:57

ROCKETMQ获取不到消息、消费缓慢、或只能收到一部分消息

1.在配置正确的情况下首先要注意：rocketmq问题汇总-一个consumerGroup只对应一个topic对于同一个Topic有多个消费者，注明同组即可（但多组会导致消费错误）。
YukonChen·2019-04-03 14:43
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他