消息队列（Kafka）

Kafka 压缩算法详细介绍

文章目录一、Kafka压缩算法概述二、Kafka压缩的作用2.1降低网络带宽消耗2.2提高Kafka生产者和消费者吞吐量2.3减少Kafka磁盘存储占用2.4减少KafkaBroker负载2.5降低跨数据中心同步成本三

王多鱼的梦想～·2025-01-31 02:22

【SpringCloud微服务实战08】RabbitMQ 消息队列

MQ异步通信优缺点：优点：吞吐量提升：无需等待订阅者处理完成，响应更快速故障隔离：服务没有直接调用，不存在级联失败问题调用间没有阻塞，不会造成无效的资源占用耦合度极低，每个服务都可以灵活插拔，可替换流量削峰：不管发布事件的流量波动多大，都由Broker接收，订阅者可以按照自己的速度去处理事件缺点：架构复杂了，业务没有明显的流程线，不好管理需要依赖于Broker的可靠、安全、性能常见MQ对比：一、R

李维山·2025-01-31 00:05

LEO、LSO、AR、ISR、HW都表示什么含义？

LSO（LogStableOffset）：这是Kafka事务的概念。如果你没有使用到事务，那么这个值不存在（其实也不是不存在，只是设置成一个无意义的值）。该值控制了事务型消费者能够看到的消息范围。它经

jasen91·2025-01-31 00:05

Kafka常见问题之 org.apache.kafka.common.errors.RecordTooLargeException

文章目录Kafka常见问题之org.apache.kafka.common.errors.RecordTooLargeException:Themessageis1,048,576byteswhenserializedwhichislargerthanthemaximumrequestsize

王多鱼的梦想～·2025-01-30 23:03

Kafka常见问题之Kafka 报错：org.apache.kafka.common.errors.NotLeaderOrFollowerException

Kafka常见问题之Kafka报错：org.apache.kafka.common.errors.NotLeaderOrFollowerException文章目录Kafka常见问题之Kafka报错：org.apache.kafka.common.errors.NotLeaderOrFollowerException0

王多鱼的梦想～·2025-01-30 23:03

RabbitMQ面试题汇总

7.消息队列有什么缺点？8.Kafka、ActiveMQ、RabbitMQ、RocketMQ有什么优缺点？9.简单说一下RabbitMQ的缺点？10.说说Ra

Blocking The Sky·2025-01-30 21:47

RabbitMQ-死信队列

RabbitMQ-死信队列一、产生来源死信队列（DeadLetterQueue,DLQ）是消息队列中的一种特殊机制。

小猫猫猫◍˃ᵕ˂◍·2025-01-30 21:13

rabbitmq应用--死信队列

出现消息没有消费的情况如下：1.消息被否定确认，使用channel.basicNack或channel.basicReject，并且此时requeue属性被设置为false；2.消息在队列的存活时间超过设置的TTL时间；3.消息队列的消息数量已经超过最大队列长度

清扬叶·2025-01-30 21:13

RabbitMQ---面试题

常见面试题1.MQ的作用及应用场景类似问题：项目什么情况下用到了MQ，为什么要用MQMQ的主要应用场景，消息队列的应用场景，为什么说消息队列可以削峰首先MQ是一种用来接收和转发消息的队列，常见的应用常见如下

huapiaoy·2025-01-30 20:10

腾讯面试：大厂必问消息队列场景面试题

今天，我将那些大厂必问的消息队列的场景问题为大家整理出来,本文将跟大家一起来探讨如何回答这些问题。为什么要使用消息队列？保证消息有序，一个topic只能有一个partition吗？

·2025-01-30 16:36

一个真正可用的docker-compse部署单机版kafka 版本2.x

注意：kafka3.x版本，Kafka3.x需要Java11或更高版本。确保系统已安装合适的Java版本。Kafka3.x推荐使用ZooKeeper3.5.x或更高版本。

garen_dimon·2025-01-30 14:40

Docker-Compose以KRaft模式快速部署Kafka

DockerComposedocker-composeup-d我们修改配置后可以关闭后重启docker-composedowndocker-compose.yaml文件内容version:"3"services:kafka

LUCIAZZZ·2025-01-30 14:10

Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka

开启JMX监控JMX_PORT=9998KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote-Dcom.sun.management.jmxremote.authenticate

2401_84166396·2025-01-30 14:39

Kafka 副本 leader 是怎么选举的？？思维导图代码示例（java 架构)

Kafka中的副本（Replica）Leader选举是确保数据高可用性和容错性的重要机制。

用心去追梦·2025-01-30 12:24

微消息队列MQTT（3）（购买阿里云服务（MQTT）（ RocketMq））

苹果酱0567·2025-01-30 11:49

Kafka 深入客户端 — 事务

Kafka事务确保了数据在写入Kafka时的原子性和一致性。1幂等幂等就是对接口的多次调用所产生的结果和调用一次是一致的。

黄名富·2025-01-30 10:40

Kafka原理总结

Kafka是一个开源的分布式流式处理平台，在这个平台上可以发布、订阅以及处理数据流，具有强大的吞吐能力，让Kafka成为了一个高性能的发布与订阅消息系统一：概念理解Broker部署Kafka进程的服务被称之为

DEMOAHUI·2025-01-30 10:08

kafka系列-日志存储

kafka中的消息，是以主题进行归类的，每个主题分为一个或多个分区，主题和分区是逻辑上的概念。消息在发送时，会按照规则追加到其中一个分区中。

chayangdz·2025-01-30 10:38

基于Spark的实时计算服务的流程架构

以下是一个典型的基于Spark的实时计算服务的流程架构：1.数据源数据源是实时计算服务的起点，常见的数据源包括：消息队列：如Kafka、RabbitMQ、AmazonKinesis等。

小小搬运工40·2025-01-30 02:08

消息队列篇--通信协议篇--STOMP（STOMP特点、格式及示例，WebSocket上使用STOMP，消息队列上使用STOMP等）

STOMP（SimpleTextOrientedMessagingProtocol，简单面向文本的消息传递协议）是一种轻量级、基于文本的协议，旨在为消息代理（消息队列）和客户端之间的通信（websocket

weisian151·2025-01-30 01:34

3步搞定：java分布式WebSocket与消息队列的奇妙邂逅？

今天我们要聊的是那个让分布式系统心跳加速的热门话题——如何用消息队列轻松实现分布式WebSocket。别急，我会一步步带你走进这个奇妙的世界，让你轻松掌握这门技艺。准备好了吗？

墨瑾轩·2025-01-29 23:51

Redis部署方式全解析：优缺点大对比

Redis部署方式全解析：优缺点大对比一、引言Redis作为一款高性能的内存数据库，在分布式系统、缓存、消息队列等众多场景中都有着广泛的应用。

恩爸编程·2025-01-29 18:34

Kafka 消费端反复 Rebalance: `Attempt to heartbeat failed since group is rebalancing`

文章目录Kafka消费端反复Rebalance:`Attempttoheartbeatfailedsincegroupisrebalancing`1.Rebalance过程概述2.错误原因分析2.1消费者组频繁加入或退出

大秦王多鱼·2025-01-29 16:13

大数据生态的Apache RocketMQ5.0

本文作者：李伟-ApacheRocketMQCommitter，RocketMQPython客户端项目Owner，ApacheDorisContributor，腾讯云消息队列资深开发工程师，著有《RocketMQ

Apache RocketMQ·2025-01-29 06:09

第三章：实时流数据处理与分析

目录3.1流处理框架深入解析与实战Flink与KafkaStreams的性能对比：事件驱动架构的代码实现1.ApacheFlink：流处理的“性能怪兽”2.KafkaStreams：轻量级、低延迟的流式处理框架实时异常检测与报警系统

深度学习客·2025-01-29 05:03

RocketMQ 系列文章

RocketMQ的Topic和消息队列MessageQueue信息，是怎么分布到Broker的？怎么负载均衡到Broker的？NameServer在RocketM

点滴~·2025-01-29 00:48

java集成kafka案例

要在Java项目中集成ApacheKafka以实现消息的生产和消费，步骤如下：1.引入Maven依赖在您的pom.xml文件中添加以下依赖，以包含Kafka客户端库：org.apache.kafkakafka-clients2.8.0org.springframework.kafkaspring-kafka2.7.02

沉墨的夜·2025-01-28 22:30

分布式微服务系统架构第88集：kafka集群

在维护Kafka或底层系统时，使用集群可以确保为客户端提供高可用性。需要多少个broker一个Kafka集群需要多少个broker取决于以下几个因素。

掘金-我是哪吒·2025-01-28 18:27

大数据开发的底层逻辑是什么？

方法：使用数据采集工具（如ApacheFlume、ApacheKafka、ApacheSqoop）来捕获和传输数据。数据存储：目的：将收集到的数据存储在可靠且可扩展的存储系统中。方法：使用分布式文

瑰茵·2025-01-28 18:56

【MQ】如何保证消息队列的高性能？

零拷贝Kafka使用到了mmap和sendfile的方式来实现零拷贝。

Forest 森林·2025-01-28 09:24

【MQ】如何保证消息队列的高可用？

异步复制主节点返回消息给客户端的时候是否需要同步从节点Dledger：要求至少消息复制到半数以上的节点之后，才给客户端返回写入成功slave定时从master同步数据（同步刷盘、异步刷盘），master一旦挂了，slave提供消费服务，不能写入消息KafkaKafka

Forest 森林·2025-01-28 09:24

rabbitmq和redis用作消息队列的区别

将redis发布订阅模式用做消息队列和rabbitmq的区别：可靠性redis：没有相应的机制保证消息的可靠消费，如果发布者发布一条消息，而没有对应的订阅者的话，这条消息将丢失，不会存在内存中；rabbitmq

rlk512974883·2025-01-28 04:22

【面试题】构建高并发、高可用服务架构：技术选型与设计

监控系统消息队列缓存层数据存储层应用层Web层负载均衡与流量分配GrafanaPrometheusAlertmanager消息队列Kafka/RabbitMQ集群/镜像队列缓存层Redis/Memcached

言之。·2025-01-28 02:05

ActiveMQ与RabbitMQ的区别

ActiveMQ和RabbitMQ都是流行的消息队列中间件，它们之间有以下几点区别：编写语言：ActiveMQ是用Java编写的，而RabbitMQ则是用Erlang编写的。

BE东欲·2025-01-28 01:23

WebSocket实现分布式的不同方案对比

本文将对比几种常见的WebSocket分布式实现方案，包括基于消息队列的广播模式、基于Redis缓存的路由模式、以及基于哈希环的实现方案，探讨它们的优缺点及适用场景。方案一：基

codeBrute·2025-01-28 00:50

NET处理分布式事务的解决方案--CAP

CAP通过集成事件驱动架构和消息队列来实现分布式事务。主要特点1

dotNET跨平台·2025-01-27 21:02

kafka开启kerberos

一、基本环境准备创建票据创建Kerberos主体（Principal）：使用kadmin.local或kadmin命令为Zookeeper和Kafka服务创建Kerberos主体。

蘑菇丁·2025-01-27 16:55

一文吃透Redis 4 种模式在 Spring Boot 下的配置

一、引言在当今的Java开发领域，SpringBoot以其快速开发和便捷配置的特性成为众多项目的首选框架，而Redis作为高性能的内存数据库，在缓存、分布式锁、消息队列等诸多场景中都发挥着举足轻重的作用

一叶飘零_sweeeet·2025-01-27 15:13

揭秘 Redis 大 key 和热 key 问题，一文教你彻底解决

一、引言在当今的互联网应用开发中，Redis作为一款高性能的内存数据库，被广泛应用于缓存、消息队列、分布式锁等各种场景。

一叶飘零_sweeeet·2025-01-27 15:13

springboot kafka配置与使用

springbootkafka配置与使用引入spring-kafka依赖org.springframework.kafkaspring-kafkaapplication配置可以根据情况只配置生产着或消费者

摘星喵Pro·2025-01-27 10:43

MQ的可靠消息投递机制

1.消息的可靠投递消息持久化：消息被发送到队列后会存储在磁盘上，即使消息队列崩溃，消息也不会丢失。例如：Kafka、RabbitMQ等都支持持久化消息。

言之。·2025-01-27 03:02

大表性能优化：从问题到解决方案

3.2表拆分：垂直拆分与水平拆分索引优化4.1创建合适的索引4.2避免索引失效SQL优化5.1减少查询字段5.2分页优化分库分表6.1水平分库分表缓存与异步化7.1使用Redis缓存热点数据7.2使用消息队列异步处理写操作实战案

繁川·2025-01-27 01:18

kafka-保姆级配置说明(consumer)

bootstrap.servers=#deserializer应该与producer保持对应#key.deserializer=#value.deserializer=##fetch请求返回时，至少获取的字节数，默认值为1##当数据量不足时，客户端请求将会阻塞##此值越大，客户端请求阻塞的时间越长，这取决于producer生产效率和网络传输能力fetch.min.bytes=1##如果broker

xiao-xiang·2025-01-26 20:11

kafka-部署安装

一.简述：Kafka是一个分布式流处理平台，常用于构建实时数据管道和流应用。二.安装部署：1.依赖：a).Java：Kafka需要Java8或更高版本。

xiao-xiang·2025-01-26 20:40

简述kafka生产者ack确认机制

一、总结该章节主要探讨造成数据丢失问题生产者ack确认机制(目的是要有多少个分区副本收到消息，生产者才认为该消息写入成功；acks参数对数据是否丢失起重要的作用)（1）ack=0，就是表示生产者不会和broker确认消息是否写入成功。这就有可能造成服务器broker因出现问题，导致没有接收到生产者的消息，而生产者却无从得知。这也就造成数据的丢失。--较低延迟和高吞吐量，但是以消息丢失的高风险为代价

技匠三石弟弟·2025-01-26 20:35

Kafka 生产者中的ack的配置

此时ack有3个配置：1.ack=0kafka-cluster不需要任何的broker收到消息，就⽴即返回ack给⽣产者，最容易丢消息的，效率是最⾼的2.ack=1（默认）：多副本之间的leader已经收到消息

欧阳冰轩·2025-01-26 20:04

kafka 生产者发送流程

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

jxj_cd·2025-01-26 19:30

【53】Camunda8-Zeebe核心引擎-Partitions分区与Internal processing内部处理

如果使用过Kafka，这部分内容是比较相似的。每当部署流程时，都会将其部署到第一个分区。然后，该流程将分发到所有分区。在所有分区上，此流程接收相同的key和版本，以便可

AlieNeny·2025-01-26 18:25

Kafka生产者ACK参数与同步复制

目录生产者的ACK参数ack等于0ack等于1（默认）ack等于-1或allKafka的同步复制使用误区生产者的ACK参数Kafka的ack机制可以保证生产者发送的消息被broker接收成功。

WannaRunning·2025-01-26 18:24

filebeat收集各种类型日志写入logstash，再从logstash中读取日志写入kafka中(有filebeat)

filebeat收集各种类型日志写入logstash，再从logstash中读取日志写入kafka中(有filebeat)如果对运维课程感兴趣，可以在b站上、A站或csdn上搜索我的账号：运维实战课程，

运维实战课程·2025-01-26 11:58

推荐频道