consumergroup

【精】Kafka详解与梳理

但是也可以一台主机多个broker服务，只要端口不一样，存储路径不一样就可以了【不推荐】zookeeper服务：管理broker集群、管理元数据producer生产者：发布消息-主题consumer消费者：消费消息consumergroup
FireDragons·2019-01-11 16:59

Kafka基本概念和结构

基本概念Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程、代码、服务Consumer：消息和数据的消费者，订阅数据（topic）并且处理其发布的消息的进程、服务、代码ConsumerGroup
mr_O-O·2019-01-01 17:39

Kafka基本概念和结构

基本概念Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程、代码、服务Consumer：消息和数据的消费者，订阅数据（topic）并且处理其发布的消息的进程、服务、代码ConsumerGroup
mr_O-O·2019-01-01 17:39

一次KAFKA消费者异常引起的思考

o.a.kakfa.clients.consumer.internals.AbstractCordinatorMarkingthecoordinator(39.0.2.100)asdead.原因：经过一番排查，发现consumergroup
zhanjia·2018-12-25 10:15

RocketMQ 最新版本PushConsumer配置参数详解

RocketMQ最新版PushConsumer配置参数详解1、Push消费模式下的配置2、consumerGroup3、messageModel4、consumeFromWhere5、allocateMessageQueueStrategy6
一片-绿叶·2018-12-21 19:42

rocketmq问题汇总-一个consumerGroup只对应一个topic

原文地址：rocketmq问题汇总-一个consumerGroup只对应一个topic1同一个订阅组内不同Consumer实例订阅不同topic消费混乱问题调查图1：背景说明：如图1左半部分，假设目前的关系如下
Hatoandaburedo·2018-12-04 18:29

Kafka概念和关于springboot配置Kafka参数详解

1.基本概念*Producer:消息生产者，往Topic发布消息*Consumer:消息消费者，往Topic取消息并处理*ConsumerGroup:topic可以广播给不同的group，一个group
文以.·2018-11-26 15:49

kafka工具包指南-翻译

ConsumerOffsetCheckerThistoolhasbeenremovedinKafka1.0.0.Usekafka-consumer-groups.shtogetconsumergroupdetails.Displaysthe:ConsumerGroup
扎克begod·2018-11-25 16:53

Kafka的Consumer主要参数

3.2.2.2group.id该参数指定的是consumergroup的名字，它能够唯一标识一个consumergroup。通常设置一个有业务意义的名字就可以了。
拓子轩·2018-11-25 15:00

Kafka的Consumer主要参数

3.2.2.2group.id该参数指定的是consumergroup的名字，它能够唯一标识一个consumergroup。通常设置一个有业务意义的名字就可以了。
拓子轩·2018-11-25 15:00

Kafka学习之路 （二）Kafka的架构

集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup
小左先森·2018-11-10 23:07

Kafka源码之KafkaConsumer分析之Rebalance

我们先来看一下哪些情况会发生Rebalance操作：1、有新的消费者加入ConsumerGroup2、有消费者宕机下线。
赵银龙·2018-10-28 19:03

细谈RocketMQ的消费模式

之前我们讲过consumergroup的概念，即消费同一类消息的多个consumer实例组成一个消费者组，也可以称为一个co
Bolon0708·2018-10-17 15:48

flume消费kafka消息的offset查看方法

kafka版本1.0.1flume版本1.8.0 offset已经不在zookeeper存储了，存储在__consumer_offsets这个topic里面，具体哪个consumergroup存储在这个
loveProLife·2018-09-27 20:22

Kafka工作流程-分区分配策略

当以下事件发生时，Kafka将会进行一次分区分配:同一个ConsumerGroup内新增消费者消费者离开当前所属的ConsumerGroup，包括shutsdown或crashes订阅的主题新增分区：将分区的所有权从一个消费者移到另一个消费者称为重新平衡
似梦似意境·2018-09-20 11:33

Kafka常用命令收录

Topic39.增加topic的partition数410.生产消息411.消费消息412.查看有哪些消费者Group413.查看新消费者详情514.查看Group详情515.删除Group516.设置consumergroup
一见·2018-09-09 18:13

Kafka详解二Java程序实现发送与接收数据

1、ConsumerGroup：一个ConsumerGroup包含多个consumer,这个是预先在配置文件中配置好的。各个consume
风的灵感·2018-09-03 17:01

Kafka系列之(1)——Kafka概念和架构

每个consumer属于一个特定的consumergroup（可为每个consumer指定groupname，若不指定groupname则属于默认的group）。
康康不遛猫·2018-08-29 19:42

Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

Coordinator用于管理ConsumerGroup中各个成员，负责消费offset位移管理和ConsumerRebalance。
中间件小哥·2018-08-15 11:46

Kafka学习笔记

一个典型的kafka集群包含若干个Producer、若干个Broker、若干个ConsumerGroup以及一个Zookeeper集群。
徐by小宝·2018-07-21 11:52

RocketMq ConsumerGroup Tag对消费的影响

官方对consumer的定义如下：Similartopreviouslymentionedproducergroup,consumersoftheexactlysamerolearegroupedtogetherandnamedConsumerGroup.ConsumerGroupisagreatconceptwithwhichachievinggoalsofload-balanceandfaul
M_O_·2018-07-08 20:43

kafka的partition如何分布到不同的broker上，consumerGroup组员和partition之间如何做负载均衡，kafka常用命令

1、partition如何分布到不同的broker上下面给出kafka在实现分区分布到各个broker上的算法实现，可以通过创建topic，设置副本数验证publicvoidkafkaProducter(){//partitions创建的分区，比如我创建了一个topic，//设置的副本是1时，partitions=partition*1;//设置的副本为2时，partitions=partitio
燕少༒江湖·2018-07-04 13:05

Hadoop————Kafka强化

producer//消息生产者consumer//消息消费者consumergroup//消费者组kafkaserver//broker,kafka服务器topic//主题,副本数,分区.2、安装kafaka0
Jorocco·2018-06-25 20:00

RocketMQ——广播消费模式与集群消费模式

1.简介广播消费指的是：一条消息被多个consumer消费，即使这些consumer属于同一个ConsumerGroup,消息也会被ConsumerGroup中的每个Consumer都消费一次，广播消费中
东天里的冬天·2018-06-25 16:54

RocketMQ之Pull消费者客户端启动

我们先看其构造方法publicDefaultMQPullConsumer(finalStringconsumerGroup,RPCHookrpcHook){this.consumerGroup=consumerGroup
泮小俊233·2018-06-19 17:29

关于Kafka的其他一些内容，堆积情况，retention，auto.offset.reset

可以命令行查看某consumergroup所有consumer的offset，和落后的多少，也就是说可以查看
鲸落大叔·2018-06-15 21:45

RocketMQ部分数据消费不了问题排查

打开RocketMq-Console-Ng查看如下图形式：备注：第一反应是ConsumerGroup内订阅了多个topic？（为什么这么怀疑，下次分析）。
匠心零度·2018-05-17 08:08

RocketMq-Consumer

newDefaultMQPushConsumer("MyTopic-Consume-Single");//实际调用了publicDefaultMQPushConsumer(StringconsumerGroup){this(consumerGroup
Sysong88·2018-05-11 17:50

Kafka分区分配策略(Partition Assignment Strategy)

我们又知道，Kafka存在ConsumerGroup的概念，也就是group.id一样的Consumer，这些Consumer属于同一个ConsumerG
Hadoop技术博文·2018-05-09 12:25

RocketMQ环境搭建

1、初步理解Producer/ConsumerGroup在安装RocketMQ之前我们先来理解Group概念，在RocketMQ中Group是很重要的。
HelloWorld搬运工·2018-05-06 22:50

Kafka之基础笔记

kafkaoffset存储1.1去zookeeper依赖比较广为人知的Kafkaoffset存储方式为zookeeper，在0.8版本时，默认依然是zk，但是此时其实已经出现另外一种offset存储方式了，Kafka以“consumergroup
董云龙·2018-03-31 19:38

Kafka笔记整理（三）：消费形式验证与性能测试

[TOC]Kafka消费形式验证前面的《Kafka笔记整理（一）》中有提到消费者的消费形式，说明如下：1、每个consumer属于一个consumergroup，可以指定组id。
xpleaf·2018-03-25 23:11

kafka学习笔记

1.重要概念topic：消息的主题／队列（逻辑概念）producer：生产者consumer：消费者broker：集群中的服务器节点，即实际存储消息的服务器consumergroup：消费者组，每个consumer
zni.feng·2018-03-21 13:00

《Kafka Stream》调研：一种轻量级流计算模式

Samza、ConsumerGroup已经包装了Kafka轻量级的消费功能，难道不够吗？
chenyulancn·2018-03-07 14:01

Kafka客户端使用

Kafka通过在一个ConsumerGroup中分配Partitions来伸缩topic的消费，ConsumerGroup是一组有同样Groupid的co
奋起直追CDS·2018-03-04 00:12

Kafka客户端使用

Kafka通过在一个ConsumerGroup中分配Partitions来伸缩topic的消费，ConsumerGroup是一组有同样Groupid的co
奋起直追CDS·2018-03-04 00:12

[TODO]Kafka及Kafka Streaming架构熟悉

根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topicProducer消息生产者，向Broker发送消息的客户端Consumer消息消费者，从Broker读取消息的客户端ConsumerGroup
Rilakkuma·2018-02-23 15:09

Kafka Consumer设计解析

摘要本文主要介绍了KafkaHighLevelConsumer，ConsumerGroup，ConsumerRebalance，LowLevelConsumer实现的语义，以及适用场景。
13161670059·2018-02-01 17:07

消费者客户端(1)-消息拉取总概

消息的广播或单播不管是JMS规范中的Topic/Queue,还是Kafka的Topic/Paratiton/ConsumerGroup,或者是RabbitMq里的Exchange等，从本质上来说，无非是广播与单播的区别
萝卜头4lbt·2017-12-05 09:04

Kafka:High level consumer vs. Low level consumer

两种消费方式在构造和实现上都是不同的，在此记录一下：一、HighlevelconsumerAPIHighLevelConsumerAPI围绕着ConsumerGroup这个逻辑概念展开，它屏蔽了每个Topic
Wangqyoho·2017-10-26 00:00

Kafka分区策略浅谈

Kafka存在ConsumerGroup的概念，也就是group.id一样的Consumer，这些Consumer属于同一个ConsumerGroup，组内的所有消
Wangqyoho·2017-07-27 09:44

Kafka生产者和消费解释

也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等.Consumers     本质上kafka只支持Topic.每个consumer属于一个consumergroup
hanlanshenlan·2017-06-16 12:00

kafka系列之(3)——Coordinator与offset管理和Consumer Rebalance

consumergroup下可以有一个或多个consu
时之结绳·2017-05-11 23:16

Kafka 0.9 新版本consumer客户端使用介绍

9-consumer-client/kafka最初时开发时,所带的producer和consumerclient都是Scala所写.我们逐渐发现这些API具有一些限制.high-level的api支持consumergroup
Frank-Hao·2017-01-08 14:03

《Kafka Stream》调研：一种轻量级流计算模式

Samza、ConsumerGroup已经包装了Kafka轻量级的
羲遥·2016-08-17 00:00

Flink流计算编程--Kafka+Flink整合demo

（1）highlevelconsumer的API较为简单，不需要关心offset、partition、broker等信息，kafka会自动读取zookeeper中该consumergroup的lastoffset
lmalds李麦迪·2016-06-29 11:13

Kafka设计解析（四）- Kafka Consumer设计解析

摘要本文主要介绍了KafkaHighLevelConsumer，ConsumerGroup，ConsumerRebalance，LowLevelConsumer实现的语义，以及适用场景。
wl6965307·2016-05-10 17:00

Kafka设计解析（一）- Kafka背景及架构介绍

并介绍了Kafka的架构，Producer消息路由，ConsumerGroup以及由其实现的不同消息分发方式，Topic&Par
wl6965307·2016-05-10 17:00

kafka consumer group的删除和offset恢复

运维kafka时，会有时需要删除无效或已下线的consumergroup，若设置的offset保存位置是zookeepr，则数据都在zookeeper中，可自行删除，方式就是删除zookeeper相应节点
小胖头鱼·2016-03-23 15:07

Kafka学习(二)：Kafka的基本结构和概念

一.Kafka中的核心概念Producer:特指消息的生产者Consumer:特指消息的消费者ConsumerGroup:消费者组，可以并行消费Topic中partition的消息Broker：缓存代理
杰布斯·2016-03-15 18:43
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他