Broker

kafka保证数据不丢失

保证kafka数据不丢失，即保证生产者、消费者、broker三个部分数据不丢失。
番茄1223·2023-10-27 01:22

Kafka丢失数据分析与解决方案

1.在KafkaBroker丢失数据Broker会将数据写入系统缓存，然后返回确认信息给Producer，如果是单点的Kafka，数据丢失无法避免，原因是只能调节数据刷到硬盘的时间间隔和缓存大小，到调整时间间隔越小
筑梦之人·2023-10-27 01:50

Kafka丢数据、重复消费、顺序消费的问题

候选者：嗯，使用Kafka时，有可能会有以下场景会丢消息候选者：比如说，我们用Producer发消息至Broker的时候，就有可能会丢消息候选者：如果你不想丢消息，那在发送消息的时候，需要选择带有callBack
Java3y·2023-10-27 01:19

kafka丢数据的原因

目录背景kafkaClient代码消息丢失的可能原因`brokerisdown``RD_KAFKA_MSG_SIZE_TOO_LARGE`分区问题KafkaBroker的处理能力无法跟上，可能会出现以下情况
拾牙慧者·2023-10-27 01:17

Kafka KRaft模式探索

其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
程序猿小乙·2023-10-26 22:38

php使用kafka

1:安装扩展2：生产者生产消息$rk=new\RdKafka\Producer();$rk->addBrokers("localhost:9092");//kafka服务器地址self::$producer
攻城狮的梦·2023-10-26 17:52

kafka3.X基本概念和使用

上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:17

kafka3.X集群安装(不使用zookeeper)

上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:08

Kafak - 单机/集群快速安装指北(3.x版本)

文章目录官方下载地址上传安装包解压安装包到指定目录修改解压包名为kafka修改config目录下的配置文件server.propertie配置环境变量其他机器同上-修改配置文件中的brokerid启动集群停止
小小工匠·2023-10-26 05:13

Kafka中的日志管理与磁盘高效存储

在一般情况下，生产者发送的压缩数据在Broker中也是保持压缩状态进行存储的，消费者从服务端获取的也是压缩的消息，消费者在处理消息之前才会解压消息，这样保持了端到端的压缩。
windsofchange·2023-10-26 02:29

Kafka磁盘写满日志清理操作

最近项目组的kafka集群，老是由于应用端写入kafkatopic的消息太多，导致所在的broker节点占满，导致其他的组件接连宕机。
隔壁寝室老吴·2023-10-26 01:57

Redis -- 基础知识1

Theopensource,in-memorydatastoreusedbymillionsofdevelopersasadatabase,cache,streamingengine,andmessagebroker.in-memorydata
哈里沃克·2023-10-26 00:19

Kafka - 深入了解Kafka基础架构：Kafka的基本概念

1）Producer：消息生产者，就是向kafkabroker发消息的客户端2）Consumer：消息消费者，向kafkabroker获取消息的客户端3）ConsumerGroup（CG）：消费者组，由多个
小小工匠·2023-10-26 00:44

kafka的单机搭建与springboot快速集成

一、kakfa相关术语Broker消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群TopicKafka根据topic对消息进行归类，发布到Kafka
哲文云·2023-10-25 22:49

Kafka集群搭建 & SpringBoot整合Kafka集群

9092,192.168.1.129:9092kafka安装0.systemctlstopfirewalld1.tar-zxvfkafka_2.13-3.0.2.tgz2.修改config/server.propertiesbroker.id
宁漂打工仔·2023-10-25 22:45

MsgBroker源码学习

基本功能发送普通消息发布者在xml中配置group和EVENTCODE发布消息服务实现三步走创建消息对象UniformEvent：由uniformEventBuilder负责创建，设置topic和eventcode两个属性值设置消息对象属性值：setEventPayload发送消息：通过uniformEventPublisher的publisherUniformEvent方法完成//发布消息，消息
旺旺大仙贝·2023-10-25 20:21

使用docker搭建RocketMQ4.4以及可视化

2.1.拉取mq镜像dockerpullrocketmqinc/rocketmq:4.4.02.2.创建目录和文件在/mnt/docket/下建一个rocketMQ文件夹,并在下面创建conf文件夹,以及broker.conf
甯缺毋滥·2023-10-25 18:51

Kafka丢数据、重复消费、顺序消费的问题

候选者：嗯，使用Kafka时，有可能会有以下场景会丢消息候选者：比如说，我们用Producer发消息至Broker的时候，就有可能会丢消息候选者：如果你不想丢消息，那在发送消息的时候，需要选择带有callBack
清朝程序猿·2023-10-25 12:12

Kafka 生产环境部署指南

Broker：一台Kafka服务器就
cr7258·2023-10-25 12:00

Kafka笔记

1.2.传统消息队列的应用场景缓存/消峰解耦异步通信1.3.Kafka基础架构Producer：消息生产者，就是向Kafkabroker发消息的客户端。Consum
wcybaonier·2023-10-25 12:24

虚拟机kafka

一、kafka安装（1）解压（2）修改名字为kafka212（3）进入/opt/soft/kafka212/config目录，配置文件server.properties21broker.id=036advertised.listeners
罗刹海是市式市世视士·2023-10-25 12:52

java 简单 消息队列_Java语言快速实现简单MQ消息队列服务

所以本章节使用JAVA语言自己动手来写一个MQ(类似ActiveMQ,RabbitMQ)主要角色首先我们必须需要搞明白MQ(消息队列)中的三个基本角色Producer:消息生产者,负责生产消息并发送到BrokerBro
weixin_39628070·2023-10-25 10:06

消息中间件的模型总结

推模型很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的，而非客户端，所以可能会有消息堆积。
志铉·2023-10-25 10:35

I got you “covered”｜Brochure Broker特辑：流行音乐翻唱歌手推荐

大家好呀！今天是周五啦，按照之前的惯例，有时候我会扒一些美剧的歌单，不过今天有点特别，我们来聊聊翻唱coversongs许多同学下载音乐的时候一般是搜索“歌曲名称”，看对应“演唱者”，然后再下载。但是小刘在之前探索了一下许许多多的翻唱版本的歌曲，没想到也很好听！翻唱不仅仅是模仿，也许还有再创作的成分，让原来的歌曲有了新的风格和感觉：当一张摇滚专辑改编成了钢琴伴奏的版本会是怎么样？当霉霉的热门单曲被
冷萃选手小刘·2023-10-25 09:47

ESP32网络开发实例-将 ESP32 连接到 EMQX Cloud MQTT Broker

将ESP32连接到EMQXCloudMQTTBroker文章目录将ESP32连接到EMQXCloudMQTTBroker1、MQTT介绍2、软件准备3、硬件准备4、代码实现5、MQTT测试在本文中，将介绍使用
视觉&物联智能·2023-10-25 09:45

RocketMQ消息堆积

概述这篇文章的目的主要是为了讲清楚rocketMq消息堆积的概念，我印象中的rocketMq的消息堆积应该分为两层，一层是broker中实际写入消息量和consumeQueue已经消费位移的偏差，另外一层
yinni11·2023-10-25 07:05

浅谈如何解决RocketMQ消息堆积的问题

MQ消息堆积是指生产者发送的消息短时间内在Broker端大量堆积，无法被消费者及时消费，从而导致业务功能无法正常使用。消息堆积常见于以下几种情况：（1）新上线的消费者功能有BUG，消息无法被消费。
梦之救赎·2023-10-25 07:04

rocketmq面对消息积压的处理

1.观察消费者延迟消息堆积情况2.查看单条消息的处理时间，查看启动的实例数，预估下每秒处理数据量3.适当增加broker的读写队列数，防止，某一broker单条消息堆积引起队列消息总体延迟的情况4.增加服务实例数量
海光之蓝·2023-10-25 07:34

rocketmq 重复拉取消息_rocketMq的消息堆积

概述这篇文章的目的主要是为了讲清楚rocketMq消息堆积的概念，我印象中的rocketMq的消息堆积应该分为两层，一层是broker中实际写入消息量和consumeQueue已经消费位移的偏差，另外一层
weixin_39609650·2023-10-25 07:04

初学 RocketMQ 之消息堆积

消息一般会存在Broker服务里面。
测试界的飘柔·2023-10-25 07:33

随记-清理rocketMq队列堆积的消息

rocketMq中队列消息过多、加上有时更新生产程序，导致队列中消息堆积，需要清空这些消息清理步骤：1、进入rocketMq目录中，关闭服务cd/data/rocketmq/binshmqshutdownbrokershmqshutdownnamesrv2
陈师兄丶·2023-10-25 07:33

emqx集群部署教程

一、EMQX介绍EMQX(Erlang/Enterprise/ElasticMQTTBroker)是基于Erlang/OTP平台开发的开源物联网MQTT消息服务器。
张折耳·2023-10-25 06:19

Kafka入门教程

Kafka入门消息队列的流派什么是MQ有Broker的MQ重Topic轻Topic无Broker的MQ一、Kafka介绍1.Kafka的使用场景2.Kafka基本概念二、kafka基本使用1.安装前的环境准备
不 古·2023-10-25 04:27

RabbitMQ和kafka的区别

2.架构模型方面producer，broker，consumerRabbitMQ：以broker为中心，有消息的确认机制kafka：以consumer为中心，无消息的确认机制3.吞吐量方面RabbitMQ
南有乔木_779f·2023-10-25 02:52

RocketMQ源码:broker文件清理

1.broker清理文件介绍1.1哪些文件需要清理首先我们需要介绍下在RocketMQ中哪些文件需要清理，其实可以想一想，在RocketMQ中哪些文件是一直在往里面写入东西的，最容易想到的就是commitlog
Java技术攻略·2023-10-24 23:46

深入了解RocketMQ的过期删除机制

今天聊一下RocketMQ的文件过期删除机制本章概括源码定位Broker是RocketMQ的核心，提供了消息的接收，存储，拉取等功能我们可以先从Broker服务入手。从源码可以得知。
欢少的成长之路·2023-10-24 23:14

RocketMq

RocketMq中的角色2.1nameSpaceNameServer是整个RocketMQ的“大脑”，它是RocketMQ的服务注册中心,所以RocketMQ需要先启NameServer再启动Rocket中的Broker
NPE1·2023-10-24 23:12

【RocketMQ】数据的清理机制

Broker在启动的时候会注册定时任务，定时清理过期的数据，默认是每10s执行一次，分别清理CommitLog文件和ConsumeQueue文件：publicclassDefaultMessageStoreimplementsMessageStore
S_H-A_N·2023-10-24 23:10

springboot实战（十）之全网最全RabbitMQ集成

1.介绍官网介绍：RabbitMQisthemostwidelydeployedopensourcemessagebroker.（RabbitM
悟空、大师兄·2023-10-24 18:11

高并发环境下，解决多线程线程安全和数据顺序性问题

1、场景从数据源kafka接收到多个topic（多种类型的）数据，（比如某个商品goods的交易订单trade，交易金额数据broker，交易店铺order，交易历史stock情况)然后将数据收集，再由多线程使用
Java小许·2023-10-24 16:10

对“观察者模式”和“订阅发布模式”的理解

具体含义不介绍，只谈谈自己的理解，如有理解错误请指出：对比图订阅发布模式比观察者模式多一步，叫做Broker（经纪人）观察者模式的实际应用：Spring的ApplicationEvent和ApplicationListenerSpring
邮差在行动·2023-10-24 13:24

Kafka 自动配置部署信息的脚本记录

basePath=$1brokerId=$2zookeeperConnect=$3localIp=`ifconfig|grepinet|awk'{print$2}'|head-1`echo$localIpcd
毕小宝·2023-10-24 08:34

poj 图论题目分类

2分图染色+DP1125StockbrokerGrapevineFLOYD1135DominoEffect最短路1149*PIGS网络流1161*Wallsfloyd1201Intervals差分约束1236
狼血wolfblood·2023-10-24 02:38

poj 图论题目分类(转载)

2分图染色+DP1125StockbrokerGrapevineFLOYD1135DominoEffect最短路1149*PIGS网络流1161*Walls
yrleep·2023-10-24 02:07

POJ题目分类

2分图染色+DP1125StockbrokerGrapevineFLOYD1135DominoEffect最短路1149*PIGS网络流1161*Wallsfloyd1201Intervals差分约束1
whn757397540·2023-10-24 02:37

POJ图论分类

2分图染色+DP1125StockbrokerGrapevineFLOYD1135DominoEffect最短路1149*PIGS网络流1161*Wallsfloyd1201Intervals差分约束1236
YDYKL·2023-10-24 02:01

个人笔记-Rabbit MQ 连接失败

问题连接RabbitMQ时，出现如下错误：NoneofthespecifiedendpointswerereachablevhostxxxxnotfoundDotNetCore.CAP.BrokerConnectionException
David.X.Wu·2023-10-24 01:08

Windows下RabbitMQ远程连接登录失败的问题解决

com.rabbitmq.client.AuthenticationFailureException:ACCESS_REFUSED-LoginwasrefusedusingauthenticationmechanismPLAIN.Fordetailsseethebrokerlogfile
m0_67392126·2023-10-24 01:31

Doris系列14-数据导入之批量删除

文章目录一.批量删除概述1.1原理1.2读取1.3CumulativeCompaction1.4BaseCompaction1.5语法二.启用批量删除支持参考:一.批量删除概述目前Doris支持brokerload
只是甲·2023-10-23 22:53

Apache Doris 入门教程09：数据导入之导入场景

按场景划分数据源导入方式对象存储（s3）,HDFS使用Broker导入数据本地文件导入本地数据Kafka订阅Kafka数据Mysql、PostgreSQL，Oracle，SQLServer通过外部表同步数据通过
sunjian286·2023-10-23 22:23
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他