BROKER 第15页

kafka-topic管理

一.概念kafka的topic是一个逻辑概念,一个topic对应多个分区,一个分区对应多个副本,一个副本对应一台broker上的一个文件夹,例如topic为test的第0个分区的一个副本的文件夹名为test

idealemail·2023-11-26 12:21

记一次RocketMQ线上broker内存持续升高问题排查

RocketMQ版本5.1.0jdk版本1.8JVM启动参数-Xms46g-Xmx46g-XX:MetaspaceSize=1259m-XX:MaxMetaspaceSize=2517m-XX:+UseG1GC-XX:G1HeapRegionSize=16m-XX:G1ReservePercent=25-XX:InitiatingHeapOccupancyPercent=30-XX:SoftRef

weihubeats·2023-11-26 07:24

Spark Streaming + Kafka Integration Guide 位置策略和消费策略

LocationStrategies.PreferBrokers：如果你的executor和kafka

七_seven·2023-11-26 02:55

Linux查看单个进程内存使用情况

Linux查看单个进程内存使用情况ps-ef命令查看进程idps-ef|grepbrokertop命令查看内存使用情况top-ppid其中RES为真实的物理地址，单位是KBps命令查看psaux|grepbroker

小韩加油呀·2023-11-26 00:39

Kafka安全认证：SASL/GSSAPI (kerberos)

文章目录1.环境2.创建主体并生成keytab3.配置jaas.conf4.配置kafkaserver.properties5.配置kafkazookeeper.properties6.kafkabroker

Matty_Blog·2023-11-26 00:21

kafka2.5版本常用命令大全

创建主题，replication分区partitions副本数，对应broker数量kafka-topics.sh--create--zookeeper${host}:2181--replication-factor1

李岱滨·2023-11-25 23:36

kafka入门篇-使用

idea中消费生产者生产的数据消费学生信息idea中生产数据生产学生信息搭建kafka1、上传压缩包到任意节点2、解压，配置环境变量所有节点都配置3、修改config/server.properties1、broker.id

啊帅和和。·2023-11-25 17:35

Kafka 常用功能总结（不断更新中....）

kafka用途业务中我们经常用来两个方面1.发送消息2.发送日志记录kafka结构组成broker：可以理解成一个单独的服务器，所有的东西都归属到broker中partation：为了增加并发度而做的拆分

一个想成为muscle man的程序员·2023-11-24 22:45

Kafka的可靠性保证

概念创建Topic的时候可以指定--replication-factor3，表示分区的副本数，不要超过broker的数量。Leader是负责读写的节点，⽽其他副本则是Follower。

david161·2023-11-24 18:21

kafka分区停留在UnderReplicated状态

通过命令查看结果如下我的broker节点只有3个，但是这个副本数设置成了4。因此判断是副本数设置的问题。多多了的1,2,3什么的都不存在的。通过以下脚本修改副本数即可。

weixin_34117211·2023-11-24 15:07

kafka常见面试题及答案

Kafka的主要组件包括Producer（生产者）、Consumer（消费者）和Broker（代理）。

沉墨的夜·2023-11-24 15:56

2023年最新kafka常见面试题

为单位进行归纳将向Kafkatopic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.producers

IT枫斗者·2023-11-24 15:47

Kafka报错under-replicated partitions

主要有两种原因，Broker故障如果某个KafkaBroker发生故障，导致其中一些分区的副本不再可用，那么这些分区就会被标记为"under-replicated"副本分配策略在Kafka集群中，副本分配策略

Blue summer·2023-11-24 15:46

python 异步任务框架 Celery 入门，速看

它有几个主要的概念：celery应用用户编写的代码脚本，用来定义要执行的任务，然后通过broker将任务发送到消息队列中broker代理，通过消息队列在客户端和worker之间进行协调。

软件测试小白·2023-11-24 15:26

【中间件】kafka

目录一、概述二、生产者1.发送原理2.生产者分区Partition分区好处分区策略3.生产者如何提高吞吐量4.数据可靠性ACK应答级别数据不丢失：ACK+ISR数据不重复：幂等性数据有序三、broker1

和瑚·2023-11-24 13:11

消息中间件——RabbitMQ（五）快速入门生产者与消费者，SpringBoot整合RabbitMQ！

我们的生产者发送一条消息，投递到RabbitMQ集群也就是Broker。我们的消费端进行监听RabbitMQ，当发现队列中有消息后，就进行消费。

攻城狮悠扬·2023-11-24 09:24

RocketMQ—NameServer总结及核心源码剖析

整个Rocketmq集群的工作原理如下图所示:可以看到，RocketMQ架构上主要分为四部分,Broker、Producer、Consumer、NameServer，其他三个都会与NameServer进行通信

IT巅峰技术·2023-11-24 09:00

Kafka Broker

文章目录KafkaBrokerKafkaBroker工作流程Zookeeper存储的Kafka信息KafkaBroker总体工作流程Broker重要参数生产经验-节点服役和退役服役新节点退役旧节点Kafka

Smartaotao·2023-11-24 04:46

关闭kafka和zookeeper的jmx端口

Dcom.sun.management.jmxremote.host=127.0.0.1"systemctl的相关配置kafka[Unit]Description=ApacheKafkaserver(broker

cumt_TTR·2023-11-23 23:17

青鱼入云·2023-11-23 23:06

Kafka 生产者、消费者命令行操作

Kafka生产者、消费者命令行操作1.查看操作生产者命令参数bin/kafka-console-producer.sh参数--bootstrap-server，连接的KafkaBroker主机名称和端口号

不想起床32·2023-11-23 18:40

如何在kafka中创建topic

如何在kafka中创建topic在使用kafka发送消息和消费消息之前，必须先要创建topic，在kafka中创建topic的方式有以下3种：如果kafkabroker中的config/server.properties

不想起床32·2023-11-23 18:09

Redis Stream消息队列

其实这种类似于broker/consumer(生产者/消费者)的数据结构很常见，比如RabbitMQ消息中间件、Celery消息中间件，以及Kafka分布式消息系统等，而RedisStream正是借鉴了

小日子呀·2023-11-23 15:11

MQ概念温习

一.我理解的MQ核心组件MQ由一般由三个核心组件组成->producer->comsumer->broker。

KwaiSZ·2023-11-23 11:11

kafka命令直接使用生产者、消费者测试消费消息

/kafka-console-producer.sh--broker-list192.168.20.91:9092--topictest2）消费者.

刘大猫.·2023-11-23 09:49

linux命令使用消费kafka的生产者、消费者

/kafka-console-producer.sh--broker-list192.168.20.91:9092--topictest2）消费者.

刘大猫.·2023-11-23 09:49

Linux命令全称

ChangeDirectorychgrp=CHangeGRouPchmod=CHangeMODechown=CHangeOWNerchsh=CHangeSHellcmp=comparecobra=CommonObjectRequestBrokerArchitecturecomm

AydanLinux·2023-11-22 23:48

Docker搭建kafka和zookpeer练手案例

Docker搭建kafka和zookpeerDockerzookpeerkafkaKafka中的术语解释4.1概述4.2broker4.3Topic4.3Partition4.4Producer4.5Consumer4.6ConsumerGroup4.7Leader4.8Follower4.9docker

废弃的root·2023-11-22 10:06

go 链接kafka报错解决

报错错误：producerclose,err:kafka:clienthasrunoutofavailablebrokerstotalkto(Isyourclusterreachable?)

jj吉吉国王·2023-11-22 09:11

CDH6.2.1 集群在线安装kafka 和 brokerid报错以及连接超时报错总结

进入clouderamanager点击添加服选择kafka然后点击选择主机本教程选择了三台机器点击继续进入ReviewChanges页面配置zookeeper的目录配置JavaHelpSizeofBroker

安心做个小废物·2023-11-22 09:35

Kafka 控制器（controller）

Kafka控制器（controller）在kafka集群中会存在一个或者多个broker（一个服务器就是一个broker），其中有一个broker会被选举为控制器kafkacontroller，负责管理整个集群中所有副本

Made in Program·2023-11-21 19:46

十五、MQ简介

同步调用存在的问题耦合度高性能和吞吐能力下降有额外的资源消耗有级联失败问题二、同步调用的优点时效性较强，可以立即得到结果三、异步调用的优势1、耦合度低2、吞吐量提升3、故障隔离4、流量削峰四、异步调用的缺点依赖于Broker

qing_ti_xx·2023-11-21 15:44

kafka max.poll.records用法介绍

一、max.poll.records是什么max.poll.records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目。

黑帽子技术·2023-11-21 14:53

kafka权限认证 topic权限认证权限动态认证-亲测成功

动态认证自定义认证安全认证-亲测成功MacBookLinux安装KafkaLinux解压安装Kafka介绍1、Kafka的权限分类身份认证（Authentication）：对client与服务器的连接进行身份认证，brokers

beyond阿亮·2023-11-21 14:13

Kafka Broker组件的功能以及设计原理剖析

Kafka组件包括Producer、Broker、Consumer以及ZooKeeper。如下图所示：Kafka组件本文将介绍KafkaBroker组件的功能以及设计原理剖析。

皮皮杂谈·2023-11-21 13:57

超级好用的Kafka GUI客户端

想要查看Topic里的消息却找不到软件，想要查看或更新Broker、Topic配置，想要监控Broker服务器状态？

bilibili_877b·2023-11-21 13:54

【Thingsboard】Gateway 开源网关

mqtt集成（外部设备或者网关通过broker对接到tb的集成中）：流程是[设备->硬件网关->mqttbroker->mqtt集成->t

0x13·2023-11-21 09:27

Redis与Java - 数据结构

REmoteDIctionaryServer)isanopensource(BSDlicensed),in-memorydatastructurestore,usedasdatabase,cacheandmessagebroker.Itsupportsdatastructuressuchasstrings

菜鸟-翡青·2023-11-21 05:15

kafka_consumer不消费数据的问题排查

spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看__consumer_offsets这个topic情况我们apachkafka中的broker

都教授2000·2023-11-20 23:32

MQTT性能分析

生产者：#include#include#include"mqtt/async_client.h"conststd::stringSERVER_ADDRESS="tcp://broker.example.com

Hello，C++！·2023-11-20 19:33

【kafka】架构

一个kafka集群由多个broker组成一个broker可以容纳多个topic（一个非常大的topic可以分布到多个broker即服务器上）。

horseber·2023-11-20 15:02

RocketMQ安装-Docker版本

NameServerdockerpullrocketmqinc/rocketmqdockerrun--namermqnamesrv-d-p9876:9876rocketmqinc/rocketmq:4.4.0shmqnamesrv部署Broker

一个朴实的程序员·2023-11-20 13:33

深入了解 RocketMQ：高性能消息中间件

一、RocketMQ基本概念2.1消息模型（MessageModel）RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer

小月亮与六便士·2023-11-20 09:12

docker安装RocketMQ

1、RocketMQ基本概念1.1消息模型（MessageModel）RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer

小月亮与六便士·2023-11-20 09:12

SpringBoot 集成 RocketMQ

一、RocketMQ基本概念消息模型（MessageModel）RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息

小月亮与六便士·2023-11-20 09:35

rocketmq 搭建集群控制台找不到节点， broker节点启动成功dashboard不显示 rocketmq节点启动成功，错误排查 rocketmq搭建集群出现找不到节点问题 broker丢失

1.在dashboard启动之后查看控制台确实broker-b-s节点；2.启动成功日志：3.jps也没有问题。

不努力就种地~·2023-11-20 05:03

rocketmq 集群启动停止脚本 rocketmq集群namesrv脚本 rocketmq集群broker集群start stop脚本 rocketmq集群一键启动，停止傻瓜脚本

1.当前模式为三台机器:worker1，worker2,worker32.当前模式为三个注册中心，两个broker-a,broker-a-s,broker-b,broker-b-s3.脚本：#!