BROKER

Kafka3.x重点归纳2

1.4Kafka基础架构1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）ConsumerGrou
水花反复横跳·2023-10-28 07:39

kafka 各模块启动全流程 KafkaServer

【代码入口】kafka新增了raft协议之后将BrokerServer、ControlServer使用了单独的文件来启动最终调用网络层和请求处理层，如果还是使用zk的方式启动则是KafkaServer启动网络层和请求处理层
0x13·2023-10-28 07:07

Kafka - 3.x 图解Broker总体工作流程

文章目录Zk中存储的kafka的信息KafkaBroker总体工作流程1.broker启动后向zk中注册2.Controller谁先启动注册，谁说了算3.由选举出来的Controller监听brokers
小小工匠·2023-10-28 07:03

Kafka - 异步/同步发送API

文章目录异步发送普通异步发送异步发送流程Code带回调函数的异步发送带回调函数的异步发送流程Code同步发送API异步发送普通异步发送需求：创建Kafka生产者，采用异步的方式发送到Kafkabroker
小小工匠·2023-10-28 04:47

RabbitMQ (4)

上文我们已经学习完交换机，知道了几个交换机的使用，下面我们来学习一下死信队列 1.死信的概念 先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer将消息投递到broker
牧..·2023-10-27 20:53

什么是消息中间件

消息中间件（MessageBroker）是一种软件或服务，用于协调和管理分布式应用程序之间的消息传递。
三水木_·2023-10-27 19:32

面试总结之消息中间件

RabbitMQ的消息如何实现路由RabbitMQ是一个基于AMQP协议实现的分布式消息中间件，AMQP具体的工作机制是生产者将消息发送到RabbitMQBroker上的Exchange交换机上，Exchange
咸鱼也有爱·2023-10-27 18:54

9 个维度告诉你怎么做能确保 RocketMQ 不丢失消息

1RocketMQ简介RocketMQ是阿里巴巴开源的分布式消息中间件，整体架构如下图：RocketMQ主要包括Producer、Consumer和Broker，同时NameServer进行
君哥聊技术·2023-10-27 14:22

rockemq 发送延迟消息_RocketMQ消费失败消息处理

非顺序消费的情况Pull和顺序消息这里暂时不做讨论哈~(还没研究--)消费失败处理逻辑消费成功的情况RockeMQ会通过移动消费offset位点向前来标示消息已被处理而对于业务处里失败的消息采用的策略是将消息回发回Broker
靳椰丝丝丝·2023-10-27 14:47

mq获取消息慢_rocketmq发送消息偶尔慢或sendKernelImpl exception

错误时截图2.环境说明rocketmq:4.4.0java:1.8rocketmqmaster主要配置:brokerRole=SYNC_MASTERflushDiskType=ASYNC_FLUSH3.
TAGEER·2023-10-27 14:47

【RocketMQ】RocketMQ怎么保证消息不丢失

目录Producer发送消息阶段手段一：提供SYNC的发送消息方式，等待broker处理结果。手段二：发送消息如果失败或者超时，则重新发送。
MXin5·2023-10-27 14:10

Rocketmq面试（二）Rocketmq如何保证消息不丢失

1.producer发送消息2.Broker存储消息3.Consumer消费消息4.Broker主从切换下面一共有9个维度可以保证消息不丢失。
Chen_leilei·2023-10-27 14:36

RocketMQ发送后丢消息的原因

线上通过traceId查询相关日志后发现MQProducer报了如下错误[PCBUSY_CLEAN_QUEUE]brokerbusy,startflowcontrolforawhile,periodinqueue
J.xx·2023-10-27 14:32

RocketMQ第五讲

broker是RockerMQ用来存储消息的服务，是RocketMQ的核心组件。NameServer和Producer都比较简单，Consumer和Broker都是比较复杂的。
yunhubuxi_2019·2023-10-27 07:37

tgip-pulsar

Datalifecyleproducer、broker、bookie、consumerfailuringhandling，客户端处理，连接管理，DataRetentionsubscription
泓礼·2023-10-27 03:47

Kafka数据丢失原因及解决方案

Kafka包括Producer、Broker、Consumer，因此从这三个方面分析。
我是哀音啊·2023-10-27 01:23

怎么解决kafka的数据丢失

broker端：topic设置多分区，分区自适应所在机器，为了让各分区均匀分布在所在的broker中，分区数要大于broker数。分区是kafka进行并行读写的单位，是提升kafka速度的关键。
需要梦想丶·2023-10-27 01:52

kafka保证数据不丢失

保证kafka数据不丢失，即保证生产者、消费者、broker三个部分数据不丢失。
番茄1223·2023-10-27 01:22

Kafka丢失数据分析与解决方案

1.在KafkaBroker丢失数据Broker会将数据写入系统缓存，然后返回确认信息给Producer，如果是单点的Kafka，数据丢失无法避免，原因是只能调节数据刷到硬盘的时间间隔和缓存大小，到调整时间间隔越小
筑梦之人·2023-10-27 01:50

Kafka丢数据、重复消费、顺序消费的问题

候选者：嗯，使用Kafka时，有可能会有以下场景会丢消息候选者：比如说，我们用Producer发消息至Broker的时候，就有可能会丢消息候选者：如果你不想丢消息，那在发送消息的时候，需要选择带有callBack
Java3y·2023-10-27 01:19

kafka丢数据的原因

目录背景kafkaClient代码消息丢失的可能原因`brokerisdown``RD_KAFKA_MSG_SIZE_TOO_LARGE`分区问题KafkaBroker的处理能力无法跟上，可能会出现以下情况
拾牙慧者·2023-10-27 01:17

Kafka KRaft模式探索

其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
程序猿小乙·2023-10-26 22:38

php使用kafka

1:安装扩展2：生产者生产消息$rk=new\RdKafka\Producer();$rk->addBrokers("localhost:9092");//kafka服务器地址self::$producer
攻城狮的梦·2023-10-26 17:52

kafka3.X基本概念和使用

上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:17

kafka3.X集群安装(不使用zookeeper)

上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:08

Kafak - 单机/集群快速安装指北(3.x版本)

文章目录官方下载地址上传安装包解压安装包到指定目录修改解压包名为kafka修改config目录下的配置文件server.propertie配置环境变量其他机器同上-修改配置文件中的brokerid启动集群停止
小小工匠·2023-10-26 05:13

Kafka中的日志管理与磁盘高效存储

在一般情况下，生产者发送的压缩数据在Broker中也是保持压缩状态进行存储的，消费者从服务端获取的也是压缩的消息，消费者在处理消息之前才会解压消息，这样保持了端到端的压缩。
windsofchange·2023-10-26 02:29

Kafka磁盘写满日志清理操作

最近项目组的kafka集群，老是由于应用端写入kafkatopic的消息太多，导致所在的broker节点占满，导致其他的组件接连宕机。
隔壁寝室老吴·2023-10-26 01:57

Redis -- 基础知识1

Theopensource,in-memorydatastoreusedbymillionsofdevelopersasadatabase,cache,streamingengine,andmessagebroker.in-memorydata
哈里沃克·2023-10-26 00:19

Kafka - 深入了解Kafka基础架构：Kafka的基本概念

1）Producer：消息生产者，就是向kafkabroker发消息的客户端2）Consumer：消息消费者，向kafkabroker获取消息的客户端3）ConsumerGroup（CG）：消费者组，由多个
小小工匠·2023-10-26 00:44

kafka的单机搭建与springboot快速集成

一、kakfa相关术语Broker消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群TopicKafka根据topic对消息进行归类，发布到Kafka
哲文云·2023-10-25 22:49

Kafka集群搭建 & SpringBoot整合Kafka集群

9092,192.168.1.129:9092kafka安装0.systemctlstopfirewalld1.tar-zxvfkafka_2.13-3.0.2.tgz2.修改config/server.propertiesbroker.id
宁漂打工仔·2023-10-25 22:45

MsgBroker源码学习

基本功能发送普通消息发布者在xml中配置group和EVENTCODE发布消息服务实现三步走创建消息对象UniformEvent：由uniformEventBuilder负责创建，设置topic和eventcode两个属性值设置消息对象属性值：setEventPayload发送消息：通过uniformEventPublisher的publisherUniformEvent方法完成//发布消息，消息
旺旺大仙贝·2023-10-25 20:21

使用docker搭建RocketMQ4.4以及可视化

2.1.拉取mq镜像dockerpullrocketmqinc/rocketmq:4.4.02.2.创建目录和文件在/mnt/docket/下建一个rocketMQ文件夹,并在下面创建conf文件夹,以及broker.conf
甯缺毋滥·2023-10-25 18:51

Kafka丢数据、重复消费、顺序消费的问题

候选者：嗯，使用Kafka时，有可能会有以下场景会丢消息候选者：比如说，我们用Producer发消息至Broker的时候，就有可能会丢消息候选者：如果你不想丢消息，那在发送消息的时候，需要选择带有callBack
清朝程序猿·2023-10-25 12:12

Kafka 生产环境部署指南

Broker：一台Kafka服务器就
cr7258·2023-10-25 12:00

Kafka笔记

1.2.传统消息队列的应用场景缓存/消峰解耦异步通信1.3.Kafka基础架构Producer：消息生产者，就是向Kafkabroker发消息的客户端。Consum
wcybaonier·2023-10-25 12:24

虚拟机kafka

一、kafka安装（1）解压（2）修改名字为kafka212（3）进入/opt/soft/kafka212/config目录，配置文件server.properties21broker.id=036advertised.listeners
罗刹海是市式市世视士·2023-10-25 12:52

java 简单 消息队列_Java语言快速实现简单MQ消息队列服务

所以本章节使用JAVA语言自己动手来写一个MQ(类似ActiveMQ,RabbitMQ)主要角色首先我们必须需要搞明白MQ(消息队列)中的三个基本角色Producer:消息生产者,负责生产消息并发送到BrokerBro
weixin_39628070·2023-10-25 10:06

消息中间件的模型总结

推模型很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的，而非客户端，所以可能会有消息堆积。
志铉·2023-10-25 10:35

I got you “covered”｜Brochure Broker特辑：流行音乐翻唱歌手推荐

大家好呀！今天是周五啦，按照之前的惯例，有时候我会扒一些美剧的歌单，不过今天有点特别，我们来聊聊翻唱coversongs许多同学下载音乐的时候一般是搜索“歌曲名称”，看对应“演唱者”，然后再下载。但是小刘在之前探索了一下许许多多的翻唱版本的歌曲，没想到也很好听！翻唱不仅仅是模仿，也许还有再创作的成分，让原来的歌曲有了新的风格和感觉：当一张摇滚专辑改编成了钢琴伴奏的版本会是怎么样？当霉霉的热门单曲被
冷萃选手小刘·2023-10-25 09:47

ESP32网络开发实例-将 ESP32 连接到 EMQX Cloud MQTT Broker

将ESP32连接到EMQXCloudMQTTBroker文章目录将ESP32连接到EMQXCloudMQTTBroker1、MQTT介绍2、软件准备3、硬件准备4、代码实现5、MQTT测试在本文中，将介绍使用
视觉&物联智能·2023-10-25 09:45

RocketMQ消息堆积

概述这篇文章的目的主要是为了讲清楚rocketMq消息堆积的概念，我印象中的rocketMq的消息堆积应该分为两层，一层是broker中实际写入消息量和consumeQueue已经消费位移的偏差，另外一层
yinni11·2023-10-25 07:05

浅谈如何解决RocketMQ消息堆积的问题

MQ消息堆积是指生产者发送的消息短时间内在Broker端大量堆积，无法被消费者及时消费，从而导致业务功能无法正常使用。消息堆积常见于以下几种情况：（1）新上线的消费者功能有BUG，消息无法被消费。
梦之救赎·2023-10-25 07:04

rocketmq面对消息积压的处理

1.观察消费者延迟消息堆积情况2.查看单条消息的处理时间，查看启动的实例数，预估下每秒处理数据量3.适当增加broker的读写队列数，防止，某一broker单条消息堆积引起队列消息总体延迟的情况4.增加服务实例数量
海光之蓝·2023-10-25 07:34

rocketmq 重复拉取消息_rocketMq的消息堆积

概述这篇文章的目的主要是为了讲清楚rocketMq消息堆积的概念，我印象中的rocketMq的消息堆积应该分为两层，一层是broker中实际写入消息量和consumeQueue已经消费位移的偏差，另外一层
weixin_39609650·2023-10-25 07:04

初学 RocketMQ 之消息堆积

消息一般会存在Broker服务里面。
测试界的飘柔·2023-10-25 07:33

随记-清理rocketMq队列堆积的消息

rocketMq中队列消息过多、加上有时更新生产程序，导致队列中消息堆积，需要清空这些消息清理步骤：1、进入rocketMq目录中，关闭服务cd/data/rocketmq/binshmqshutdownbrokershmqshutdownnamesrv2
陈师兄丶·2023-10-25 07:33

emqx集群部署教程

一、EMQX介绍EMQX(Erlang/Enterprise/ElasticMQTTBroker)是基于Erlang/OTP平台开发的开源物联网MQTT消息服务器。
张折耳·2023-10-25 06:19

Kafka入门教程

Kafka入门消息队列的流派什么是MQ有Broker的MQ重Topic轻Topic无Broker的MQ一、Kafka介绍1.Kafka的使用场景2.Kafka基本概念二、kafka基本使用1.安装前的环境准备
不 古·2023-10-25 04:27
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他