consumergroup

Kafka 基础架构

Producer：消息的发送方，生产者，向Kafka集群发送消息的的客户端；Consumer：消息消费者，向Kafkabroker取消息的客户端；ConsumerGroup（CG）：消费者组，由多个consumer
zmx_messi·2023-12-19 18:48

11、避免消费者组非必要重平衡的方法

重平衡就是让一个ConsumerGroup下所有的Consumer实例就如何消费订
cjh-Java·2023-12-19 04:16

Kafka内容分享(四)：Kafka 架构和幂等性与事务

目录一、架构1.1、Kafka重要概念1.1.1、broker1.1.2、zookeeper1.1.3、producer（生产者）1.1.4、consumer（消费者）1.1.5、consumergroup
之乎者也··2023-12-16 18:44

【中间件学习篇_Kafka】搞定kafka术语 No.4

kafka的相关术语有：生产者（Producer），消费者（Consumer），消费者组（ConsumerGroup），代理（Broker），集群（Cluster），消息（message），主题（Topic
C-Jonn·2023-12-15 21:32

9、消费者组到底是什么？（高扩展性）

（高扩展性）1、消费者组的3个特性2、两种消息引擎模型的实现2.1、点对点模型2.2、发布/订阅模型2.3、混合模型-消费者组机制3、针对ConsumerGroup，Kafka是怎么管理位移的4、重平衡
cjh-Java·2023-12-15 21:29

kafka rebalance(再均衡)导致的消息积压分析

Rebalance的触发条件:当ConsumerGroup组成员数量发生变化(1)新成员
乐之者v·2023-12-15 06:07

Kafka基础理论与常用命令详解（超详细）

文章目录前言一、Kafka概述1.Kafka简介2.Kafka架构2.1Broker（代理服务器）2.2Topic（主题）2.3Producer（生产者）2.4Consumer（消费者）2.5ConsumerGroup
大数据魔法师·2023-12-15 06:53

kafka入门(四)：消费者

消费者群组（ConsumerGroup）每一个消费者都有一个对应的消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题的一部分分区的消息。
乐之者v·2023-12-14 20:14

【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息

问题描述使用ApacheFlink连接支持ApacheKafka的AzureEventHub后，由于消费端的ConsumerGroup是动态创建，在门户页面和ServiceBusExplorer工具中均无法查看
云中路灯·2023-12-04 18:22

Kafka常用术语

对消息进行归类，发布到Kafka集群的每套消息都需要指定一个topic，topic是一个逻辑概念，物理上不存在的Producer生产者：用于向Kafka发送消息Consumer消费者：从Kafka中获取消息ConsumerGroup
xuxigifxfh·2023-12-03 09:48

【kafka实践】08｜消费者组

消费者组即ConsumerGroup。用一句话概括就是：ConsumerGroup是Kafka提供的可扩展且具有容错性的消费者机制。
叁戒·2023-12-02 12:14

【kafka实践】10｜消费者重平衡

消费者组这一章节中提到过重平衡Rebalance，Rebalance就是让ConsumerGroup下所有的Consumer实例就如何消费订阅主题的所有分区达成共识的过程。
叁戒·2023-12-02 12:14

ES8生产实践——pod日志采集（ELK方案）

借助Kafka的ConsumerGroup技术部署多个logstash副本，由logstash集群逐个消费并写入ES，防止瞬间高峰导致直接写
崔亮的博客·2023-11-26 21:01

Kafka-Consumer

对比其他消息中间件，Kafka的消费者有一个非常重要的概念：消费者组（ConsumerGroup）。消费者组（ConsumerGroup）：每个消费者
七七r·2023-11-26 12:30

Docker搭建kafka和zookpeer练手案例

kafka和zookpeerDockerzookpeerkafkaKafka中的术语解释4.1概述4.2broker4.3Topic4.3Partition4.4Producer4.5Consumer4.6ConsumerGroup4.7Leader4.8Follower4.9docker
废弃的root·2023-11-22 10:06

kafka max.poll.records用法介绍

在Kafka中，一个consumergroup可以有多个consumer实例，每个consumer实例负责消费一个或多个partition的消息。每个consumer实例从broker中拉取消息
黑帽子技术·2023-11-21 14:53

Kafka再平衡机制详解

一般有三种情况会触发再平衡：consumergroup中的新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上；consumer订阅的topic发生变化，比如订阅的topic
wrr-cat·2023-11-20 15:41

Consumer的负载均衡

要做负载均衡，必须知道一些全局信息，也就是一个ConsumerGroup里到底有多少个Consumer，知道了全局信息，才可以根据某种算法来分配，比如简单地平均分到各个Consumer。
Hamilton_Huan·2023-11-17 09:12

Kafka简单汇总

每个consumer都属于一个consumergroup，每条消息只能被consumergroup中的一个Consumer消费，但可以被多个consumergroup消费。
信仰_273993243·2023-11-14 16:44

RocketMq

分组(Group)同一个ConsumerGroup下的各个实例将共同消费topic的消息，起到负载均衡的作用，注意是平均分配。标签(Tag)Rocke
信仰_273993243·2023-11-13 14:52

kafka消费者组重平衡分析

一概念一个consumergroup通过一定的分配算法来分配消费订阅的topic的所有分区。具体有协调者完成重平滑流程。
yanerhao·2023-11-13 05:43

java kafka删除用户组_详细解析kafka之kafka消费者组与重平衡机制

㊣kafka源码解析与实战源码原理61.5元包邮(需用券)去购买>消费组组(Consumergroup)可以说是kafka很有亮点的一个设计。
weixin_39674190·2023-11-13 05:12

四、Kafka消费者组与重平衡机制

、kafka消费者组1.1消费者组内消费者数量1.2查看集群中的消费者组二、重平衡（Rebalance）三、重平衡策略3.1Range3.2RoundRobin3.3Sticky四、避免重平衡消费组（Consumergroup
猿小许·2023-11-13 05:12

Kafka 消费者组重平衡（Rebalance）

consumergroup的rebalance本质上是一组协议，它规定了一个conusmergroup是如何达成一致来订阅分配topic的所有分区的。
kobe_yang24·2023-11-13 05:41

Kafka 消费者组重平衡能避免吗？

Rebalance就是让一个ConsumerGroup下所有的Consumer实例就如何消费订阅主题的所有分区达成共识的过程。
章全蛋·2023-11-13 05:40

kafka消费组重平衡

kafka消费组ConsumerGroup，是Kafka提供的可扩展且具有容错性的消费者机制，一个消费组内可以有一到多个消费实例（ConsumerInstance），共享一个id，这个id就是GroupID
呆东·2023-11-13 05:10

Kafka Consumer 消费 多线程vs多实例

基于Kafka2.2.1版本1.方案一在同一个ConsumerGroup中，创建多个Consumer，增加消费者性能。
腹黑客·2023-11-11 13:43

Kafka学习---分区与副本原理解析

ConsumerGroup：一个消费者组可以包含一个或多个消费者。
大龄码农生活·2023-11-08 17:09

Kafka基础--Kafka架构图

架构图角色Producer：消息生产者，就是向kafkabroker发消息的客户端；Consumer：消息消费者，向kafkabroker取消息的客户端；ConsumerGroup（CG）：消费者组，由多个
寒 暄·2023-11-08 17:09

SpringBoot下RocketMQListener如何发起onMessage方法(源码)

示例通过注解方式监听,指定了消息的类型,会自动转换,当获取到消息后会自动调用onMessage()@Component@RocketMQMessageListener(topic="topic-A",consumerGroup
跟心爱的人浪迹天涯·2023-11-07 18:23

RocketMQ(分布式消息队列)

代理服务器（BrokerServer）:名字服务（NameServer）:拉取式消费（PullConsumer）:推动式消费（PushConsumer）:生产者组（ProducerGroup）:消费者组（ConsumerGroup
不爱吃胡萝卜的阿丁·2023-11-01 16:03

RocketMQ消费者和队列对应关系

（一个消费组consumergroup里，一个消费者应用可以消费多个队列的消息。一个队列的消息只能被一个消费者应用消费。）旧版本MQ示意图新版本MQ消费者和Broker直接对应
bigdata-余建新·2023-11-01 16:02

使用kafka-consumer-group.sh查看消息消费情况，CONSUMER-ID，HOST，CLIENT-ID不显示问题分析

问题描述在使用使用kafka-consumer-group.sh查看消息消费情况，消息都已经消费完了，但是CONSUMER-ID，HOST，CLIENT-ID字段的信息不显示，而且，消费实例也在运行中，却出现了Consumergroup'manage.group1
大数据技术-亮哥·2023-11-01 09:59

记录：kafka-clients adminClient.listConsumerGroups不能获得kafka中kafka-consumer-groups.sh查询到的所有GroupID

KafkaadminClient与kafka-consumer-groups.sh使用的查询ConsumerGroup的API不同所致。
Coder-D·2023-11-01 08:48

Kafka消费者组整合代码实现分区分配策略以及offset使用场景

ConsumerGroup（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。
远走与梦游·2023-10-31 08:59

Kafka系统架构（ Broker，Topic， Partition，Replication）

分区概念描述路由规则注意图解四、Leader负责读写的分区概念注意流程五、Follower同步数据备份概念注意六、Replication副本概念描述注意七、producer生产者概念描述注意七、Consumer消费者概念注意八、ConsumerGroup
温岚万叶·2023-10-28 07:14

Kafka - 深入了解Kafka基础架构：Kafka的基本概念

1）Producer：消息生产者，就是向kafkabroker发消息的客户端2）Consumer：消息消费者，向kafkabroker获取消息的客户端3）ConsumerGroup（CG）：消费者组，由多个
小小工匠·2023-10-26 00:44

kafka的单机搭建与springboot快速集成

根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topicProducer消息生产者，向Broker发送消息的客户端Consumer消息消费者，从Broker读取消息的客户端ConsumerGroup
哲文云·2023-10-25 22:49

Kafka 生产环境部署指南

可以将一个和多个Consumer指定为一个ConsumerGroup（消费者组），一个消费者组在逻辑上是一个订阅者，不同消费者组之间可以消费相同的数据，消费者组之间互不干扰。
cr7258·2023-10-25 12:00

聊聊RocketMQMessageListener的实现机制

RocketMQMessageListener(nameServer="${demo.rocketmq.myNameServer}",topic="${demo.rocketmq.topic.user}",consumerGroup
hello_ejb3·2023-10-22 09:11

4、Kafka 消费者

5.1Kafka消费方式5.2Kafka消费者工作流程5.2.1消费者总体工作流程5.2.2消费者组原理ConsumerGroup（CG）：消费者组，由多个consumer组成。
myprince003·2023-10-20 11:40

kafka 进阶

offset四个概念：2.两种offsetCurrentOffsetCommittedOffset3.服务端常用命令1.查看所有topic2.查看topicpartition、replica、ISR详情3.查看consumergroup
zhangjian_eng·2023-10-15 13:02

rocketmq 部分队列不消费NOT_CONSUME_YET

，表现为一部分队列消费，一部分队列没有消费并且对应的consumerClientId为空，且代码排查无误解决方案：查看consumerClientId对应的IP地址发现另外一个服务使用了和该服务相同的consumerGroup
孤海岛主·2023-10-14 06:15

Kafka 的简介与架构

1.2消息系统介绍1.3Kafka中的术语解释1.4Kafka的优点1.5常用MQ对比二、Kafka的架构分布式模型副本（replicated）Topics和Partition生产者生产数据消费者消费数据ConsumerGroup
Java技术债务·2023-10-12 20:35

Kafka 架构

集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup
Lamb!·2023-10-07 18:06

基于Redis的Stream类型的完美消息队列解决方案

1概述2追加新消息，XADD，生产消息3从消息队列中获取消息，XREAD，消费消息4消息ID说明5消费者组模式，consumergroup6Pending等待列表7消息转移8坏消息问题，DeadLetter
雪东~·2023-10-04 02:43

kafka rabbitmq 详细对比

ConsumerGroup：组团消费，每个Consumer都属于一个ConsumerGroup。消费者组在逻辑上是同一个订阅者。
行者游学·2023-09-21 10:25

【大数据之Kafka】十三、Kafka消费者生产经验之分区的分配及再平衡、数据积压和消费者事务

1分区的分配及再平衡  一个consumergroup中有多个consumer组成，一个topic有多个partition组成，使用分区分配策略决定由哪个consumer来消费哪个partition的数据
阿宁呀·2023-09-19 18:11

rocketmq

消息发布者⭐主题（Topic）：topic用于标识同一类业务类型的消息⭐消息队列（MessageQueue）：传输和存储消息的容器，是消息的最小存储单元⭐消费者（Consumer）：消息订阅者⭐消费者组（ConsumerGroup
码仆的逆袭·2023-09-16 13:38

kafka 消费者的消费策略以及再平衡1

1.2kafka触发再平衡的情况1.consumergroup中的新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上；2.
健康平安的活着·2023-09-16 06:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他