consumergroup

Flume与Kafka对接

主要是flume对接到kafka的topic，可以给多个consumergroup去生成多条业务线。
billows9297·2020-09-08 11:47

Kafka - 基本概述&操作

发布、订阅模式(一对多，消费者消费数据之后不会清除消息)基础架构Producer：消息生产者，想kafkabroker发送消息的客户端Consumer：消息消费者，想kafkabroker取消息的客户端ConsumerGroup
BNMZY·2020-08-26 09:23

RocketMQ中PullConsumer的启动源码分析

DefaultMQPullConsumer的构造方法：publicDefaultMQPullConsumer(finalStringconsumerGroup,RPCHookrpcHook){this.consumerGroup
Z_ChenChen·2020-08-25 14:31

Kafka随记

当失败时能自动平衡消费者消息的持久化Kafka架构图Kafka架构中，拥有多个Producer、Broker、Consumer，且每个Producer对应多个Topic，而每个Consumer只能对应一个ConsumerGroup
crazy_Mamba·2020-08-25 09:39

kafka学习笔记三：负载均衡

Kafka具有消费分组的概念，一个Topic的一个partition只能由一个Consumergroup中的一个Consmer消费，概念似乎很容易理解，那么我们来做个测试看1、创建一个Topic使用一个已经创建好的
see_you_see_me·2020-08-25 07:32

kafka基础知识

主要特点分布式，可扩展低延迟（毫秒级延迟）持久化…基本概念Producer-生产者Broker-kafka服务器Consumer-消费者ConsumerGroup-消费者分组Topic-主题Partition
佩奇哥哥·2020-08-25 02:35

SparkStreaming总结下

一、spark直连方式和Receiver方式比较consumer传统的消息者（老的方式）需要连接ZK，新的方式（高效的方式）不需要连接ZK，但是要自己维护偏移量consumergroup一个消费者组下可以有多个消费者
xiaoqiang17·2020-08-24 18:19

关于Kafka的分区分配策略

我们又知道，Kafka存在ConsumerGroup的概念，也就是group.id一样的Consumer，这些Consumer属于同一个ConsumerG
华山论键·2020-08-24 17:06

Kafka的分区策略

我们又知道，在Kafka中存在着ConsumerGroup的概念，也就是在group.id一样的Consumer，这些Consumer属于同一个ConsumerGro
要争气·2020-08-24 14:07

Kafka-消费者组三种分区分配策略Range Assignor、RoundRobin Assignor、Sticky Assignor详细解析

StickyAssignor文章目录Kafka消费者组三种分区分配策略roundrobin，range，StickyAssignor1.Range(默认策略)2.RoundRobin3.StickyAssignor一个consumergroup
Demik·2020-08-24 12:13

十年阿里分布式架构师写了一份Kafka心得PDF，这也太详细了吧

高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition,consumergroup对partition进行consume操作。
马士兵老师·2020-08-23 02:07

kafka连接flink操作流程

（1）highlevelconsumer的API较为简单，不需要关心offset、partition、broker等信息，kafka会自动读取zookeeper中该consumergroup的lastoffset
Leonardo_1997·2020-08-23 02:28

kafka消费者分组的时候，分区现象

指定ConsumerGroup。指定拉取Message范围的策略。
木西爷·2020-08-23 02:15

Kafka查看topic、consumer group状态命令

最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开始消费数据，于是学习了一下查看kafkabroker里topic和consumergroup
lxsglc·2020-08-23 01:09

kafka consumer group总结

高级api的一些注意事项：1.如果consumergroup中的consumer线程数量比partition多，那么有的线程将永远不会收到消息。
cuidongdong1234·2020-08-23 01:47

Kafka设计解析（四）- Kafka Consumer设计解析

摘要本文主要介绍了KafkaHighLevelConsumer，ConsumerGroup，ConsumerRebalance，LowLevelConsumer实现的语义，以及适用场景。
五柳-先生·2020-08-23 00:16

Spring Cloud Stream (2)-原理篇

Kafka里是通过Toopic会被每个ConsumerGroup消费一次这个特性决定的。消费组：在微服务架
牛麦康纳·2020-08-22 09:42

kafka之消费

kafka中消息的消费，要知晓两个紧密相关的概念：消费者consumer和消费者组consumergroup。消费者和消费者组每个consumer的实例只属于某一个consumergroup。
csucoderlee·2020-08-21 21:31

kafka_2.11-1.1.0相关命令(一)

kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topicmy_test_topic--from-beginning2.查看消费情况:列出所有consumergroup
9线艺术家·2020-08-20 08:13

Kafka入门概述及原理介绍

文章目录一、Kafka是什么二、Kafka的特点三、Kafka重要概念（一）Broker（二）Producer（三）Topic（四）Partition（五）ConsumerGroup（六）Message
qq_46993700·2020-08-20 08:06

Spring Cloud Stream总结

通常，在将应用程序绑定到给定目标时，最好始终指定consumergroup2、destinationbinder：与外部消息系统通信的组件，为构造Binding提供了2个方法，分别是bindConsumer
beishuibo1517·2020-08-19 08:59

Kafka（数据缓存监控）

3.2点对点模式3.3发布/订阅模式4.核心概念4.1Broker4.2Topic4.3Partition4.4Offset4.5持久化4.6副本机制4.7Producer4.8Consumer4.9ConsumerGroup5
卖女孩的小火柴Jaffe·2020-08-18 12:41

kafka_rebalance过长问题排查

端设置超时的代码consumer端的rebalanceTimeoutMs解决方案问题简介  最近kafka集群频繁出现了长时间rebalance(耗时5min级别)，kafka在rebalance期间对应的consumergroup
夜月行者·2020-08-18 12:01

kafka架构和文件存储

kafka基础架构1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）ConsumerGroup（
sghuu·2020-08-18 11:40

kafka工作流程以及文件存储机制

1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）ConsumerGroup（CG）：消费者组，
matao_jack·2020-08-18 10:02

RocketMQ入门到入土（七 )为什么同一个消费组设置不同tag会出现奇怪现象

一、问题复现1、描述两个一样的ConsumerGroup的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2
Java知音_·2020-08-17 07:23

rocketmq的重试队列和死信队列

这个重试TOPIC的名字是%RETRY%+consumergroup的名字在控制台上过一会就可以查到。重试的消息在延迟的某个时间点（默认是1
b_just·2020-08-15 22:57

关于springcloud kafka binder的一个关于consumer group设置的一个bug

我们可以通过spring.cloud.stream.kafka.bindings.springCloudBusInput.consumer.group来指定默认总线topic:spingCloudBus的consumergroup
xiao_jun_0820·2020-08-15 21:59

Spring Cloud构建微服务架构--基于kafka构建消息总线BUS

借助docker安装kafka,安装kafka之前我们需要安装Zookeeper；一个典型的Kafka集群中包含以下：若干Produce；若干broker（broker数量越多，集群吞吐率越高）；若干ConsumerGroup
石头城程序猿·2020-08-15 20:43

设计Kafka的High Level Consumer

消息消费已ConsumerGroup为单位，
铁猴·2020-08-15 11:30

如何保证Kafka有且仅消费一次？

Kafka的几个核心的概念：Producer：生产message发送到topicConsumer：订阅topic消费message，Consumer作为一个线程来进行消费ConsumerGroup：一个
已个人·2020-08-14 21:33

葵花宝典--kafka

producer：生产者，向kafka发送数据consumer：消费者，消费kafka内的数据consumergroup：消费者组，消费者组内的消费者负责消费不同分区的数据，一个分区只能由一个消费者消费
张薄薄·2020-08-14 18:17

KaFka单机安装

通过消费者组（ConsumerGroup）来支持单个消费者以队列或者Pub/Sub形式的消息消费，或者多个消费者集群顺序消费消息。相关配置1、下载下载k
漫天雪_昆仑巅·2020-08-14 11:24

RocketMQ入门学习（七 )为什么同一个消费组设置不同tag会出现奇怪现象

一、问题复现1、描述两个一样的ConsumerGroup的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2
五爷_family·2020-08-14 09:20

RocketMq中MessageQueue的分配

都知道Rocketmq中有ConsumerGroup的概念。
weixin_34418883·2020-08-13 21:47

springboot系类代码：spring-boot-rocketmq-starter-springframework

Client端ProducerGroup一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致ConsumerGroup一类Consumer的集合名称，这类Consumer
咔啡·2020-08-13 13:58

大数据（Kafka）-原理

Kafka原理在Kafka中向topic发送消息者称为Producer，从topic获取数据者称为Consumer，Consumer被定义到一个ConsumerGroup中，整个Kafka集群通过Zookeeper
Olge·2020-08-12 14:49

springboot使用rocketmq RocketMQMessageListener参数

参数version4.61.consumerGroup消费者分组2.topic主题3.selectorType消息选择器类型默认值SelectorType.TAG根据TAG选择仅支持表达式格式如：“tag1
路过君_P·2020-08-12 01:14

kafka读书笔记-消费者-消息组与消息订阅

kafka中的消费者不是直接订阅kafka服务进行消费的，而是作为消费组(Consumergroup)的一员消费消息的。
gaording·2020-08-11 16:11

kafka的生产者和消费者的理解

Producer也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等.Consumers本质上kafka只支持Topic.每个consumer属于一个consumergroup
小灰灰1234·2020-08-11 05:10

关于kafka的疑惑

KafkaConfusion1.kafka(1)consumer与partition是一对多的关系consumergroup里的一个consumer可以消费多个partition，但是一个partition
马客斯·2020-08-10 18:35

flume学习05---Kafka Source

如果您有多个Kafkasource运行，您可以使用相同的ConsumerGroup配置它们，因此每个将读取topic中一组唯一的分区。
chbxw·2020-08-09 15:10

Flume (十) Sources - Kafka Source

如果您正在运行多个KafkaSource，可以为这些Source配置相同的消费者组（ConsumerGroup），以便每个Source都读取一组唯一的主题分区。
DoNotStop·2020-08-09 13:01

kafka的消息消费机制、consumer的负载均衡、文件存储机制

（回答有序消费问题）主要说的是消费者与目的地的关系（comsumer与topic的关系）本质上kafka只支持Topic；（1）每个group中可以有多个consumer，每个consumer属于一个consumergroup
成都往右·2020-08-08 19:39

Kafka设计解析（四）- Kafka Consumer设计解析

本文转发自技术世界，原文链接http://www.jasongj.com/2015/08/09/KafkaColumn4摘要本文主要介绍了KafkaHighLevelConsumer，ConsumerGroup
小顽童王·2020-08-06 10:11

Kafka consumer group位移0ffset重设

本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumergroup)的位移。
csdn-延·2020-08-05 13:40

Kafka基础知识总结笔记

读书笔记基本概念producerbrokerconsumertopicpartitionsegmentISR-In-SyncReplicaOSRHW生产者producerpush模式消费者consumer/consumerGroup
coding-now·2020-08-02 12:37

基于Redis的Stream类型的完美消息队列解决方案（全）

文章目录1概述2追加新消息，XADD，生产消息3从消息队列中获取消息，XREAD，消费消息4消息ID说明5消费者组模式，consumergroup6Pending等待列表7消息转移8坏消息问题，DeadLetter
红牛慕课·2020-08-01 12:01

Kafka架构图

4）ConsumerGroup（CG）：kafka提供的可扩展且具有容错性的消费者机制。既然是一个组，那么组内必然可以有多个消费者或消费者实例(consumerinstance)，它们
Jackson_MVP·2020-07-30 13:31

Kafka再平衡机制详解

一般有三种情况会触发再平衡：consumergroup中的新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上；consumer订阅的topic发生变化，比如订阅的topic
爱宝贝dian丶·2020-07-30 08:37
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他