消息队列（Kafka）第8页

Kafka topic、producer、consumer的基础使用

文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据Kafka初级前言关于kafka的集群安装这里就先跳过，如果需要相关资料以及学习视频的可以在留言下留下联系信息（邮箱

病妖·2025-02-19 17:22

kafka消费能力压测：使用官方工具

背景在之前的业务场景中，我们发现Kafka的实际消费能力远低于预期。尽管我们使用了kafka-go组件并进行了相关测试，测试情况见《kafka-go:性能测试》这篇文章。

ezreal_pan·2025-02-19 16:16

Kafka的生产者和消费者模型

Kafka的生产者和消费者模型是一种消息传递模式，以下是该模型的详细描述：一、生产者（Producer）定义：生产者是消息的生产者，它将消息发布到Kafka的主题（Topic）中。

Java资深爱好者·2025-02-19 16:15

阶段 1：Kafka基础认知

核心知识点Kafka三大核心角色：Producer（生产者）：负责向Kafkatopic推送数据。可以理解为数据流的发起者。Broker：Kafka服务器节点，负责存储数据流。

AI航海家(Ethan)·2025-02-19 16:13

正式开源：使用Kafka FDW 加载数据到 Apache Cloudberry™

ApacheCloudberry™(Incubating)由GreenplumDatabase核心开发者创建，是一款领先且成熟的开源大规模并行处理（MassivelyParallelProcessing，MPP）数据库。它基于开源版的PivotalGreenplumDatabase®衍生而来，但采用了更新的PostgreSQL内核，并具备更先进的企业级功能。Cloudberry可以作为数据仓库使用

·2025-02-19 15:58

Redis在实际应用中的最佳实践：缓存加速、分布式锁与消息队列

Redis在实际应用中的最佳实践：缓存加速、分布式锁与消息队列Redis作为一个高性能的内存数据库，凭借其高吞吐量、低延迟的特性，已成为开发者在构建现代应用时的首选技术之一。

一碗黄焖鸡三碗米饭·2025-02-19 12:10

Spring 核心技术解析【纯干货版】- XIV：Spring 消息模块 Spring-Jms 模块精讲

在现代分布式系统中，消息队列（MessageQueue，MQ）扮演着至关重要的角色，它不仅能够解耦系统各个模块，还能提升系统的可扩展性和可靠性。

栗筝i·2025-02-19 08:36

rabbitmq3.5.1 原理和集群安装

dl528888.blog.51cto.com/2382721/1864895http://kaibinyuan.blog.51cto.com/7304008/1610110原因：最近有一个异步需要使用消息队列

「已注销」·2025-02-19 06:58

RabbitMQ，RocketMQ，Kafka 消息模型对比分析

消息模型消息队列的演进消息队列模型早期的消息队列是按照”队列”的数据结构来设计的。

Java架构设计·2025-02-19 06:57

Kafka日志文件探秘：从数据解析到故障排查的完整指南

#作者：猎人文章目录1、查看Log文件基本数据信息2、index文件健康性检查(--index-sanity-check)3、转储文件(--max-message-size)4、偏移量解码(--offsets-decoder)5、日志数据解析(--transaction-log-decoder)6、查询Log文件具体数据(--print-data-log)7、查看index文件具体内容8、查看ti

磐基Stack专业服务团队·2025-02-19 04:06

消息队列简述

消息队列（MessageQueue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为：当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。

八二年的栗子·2025-02-18 18:39

kafka搭建

文章目录前言一、kafka是什么？

瀟湘夜雨-秋雨梧桐·2025-02-18 15:19

Spring Boot 整合 Kafka 详解

前言：上一篇分享了Kafka的一些基本概念及应用场景，本篇我们来分享一下在SpringBoot项目中如何使用Kafka。

码农爱java·2025-02-18 15:17

DDD - 可能会用到的分布式事务

一、分布式事务的概念：分布式事务是指跨越多个独立的资源或服务（例如多个数据库、微服务、消息队列等）执行的事务操作，其目标是确保整个事务在多个系统中保持原子性和一致性，即要么所有操作全部成功提交，要么全部回滚

谦亨有终·2025-02-18 13:27

使用 Docker 部署 RabbitMQ 的详细指南

使用Docker部署RabbitMQ的详细指南在现代应用程序开发中，消息队列系统是不可或缺的一部分。RabbitMQ是一个流行的开源消息代理软件，它实现了高级消息队列协议（AMQP）。

m0_74824552·2025-02-18 05:51

微服务之消息队列

而消息队列(MessageQueue,MQ)作为一种异步通信机制，能够有效解耦服务，提高系统的可扩展性、可靠性和最终一致性。1.微服务为什么要使用消息队列？

qq_40784183·2025-02-18 01:22

redis 实现延迟消息队列

Redis延迟消息队列实现配置参数第二步Listitem配置参数1.首先确认liunx中安装了redis2.修改redis的配置文件配置键空间通知在Redis配置文件（通常是redis.conf）中，启用键空间通知配置如下

键盘侠007·2025-02-17 22:15

linux 搭建kafka集群

ipnode1192.168.72.132node2192.168.72.133node3192.168.72.1342、安装jdklinux环境安装jdk_openjdk1.8.0_345-CSDN博客3、下载kafka

节点。csn·2025-02-17 21:04

【Redis系列】Redis安装与使用

m0_74825409·2025-02-17 17:53

Flink在指定时间窗口内统计均值，超过阈值后报警

物联网设备的数据从kafka中读取，配置数据从mysql中读取，有个管理后台可以调整窗口和阈值大小。2、思路使用flink的双流join，配置数据使用广播流，设备数据使用普通流。

小的~~·2025-02-17 17:49

linux下共享内存和消息队列实现多进程间数据收发

linux下进程通信的方式有很多，共享内存，消息队列，管道等。共享内存可以传输大量数据，但是多个进程同时读取共享内存就会出现脏读，可以借助消息队列实现多进程消息发送和接收。

hsy12342611·2025-02-17 12:08

【动态路由】系统Web URL资源整合系列（后端技术实现）【apisix实现】

反向代理功能（描述：apollo、eureka控、apisix、sentinel、普米、kibana、timetask、grafana、hbase、skywalking-ui、pinpoint、cmak界面、kafka-map

飞火流星02027·2025-02-17 07:23

Apache ZooKeeper 分布式协调服务

1.1定义与定位核心定位：分布式系统的协调服务，提供强一致性的配置管理、命名服务、分布式锁和集群管理能力核心模型：基于树形节点（ZNode）的键值存储，支持Watcher监听机制生态地位：Hadoop/Kafka

slovess·2025-02-17 04:33

C#与RabbitMQ：消息队列实践

今天咱们要聊聊如何用C#和RabbitMQ来搭建一个简单但又强大的消息队列系统。消息队列是个啥？简单来说，它就像是一个邮局，不同的是，这里传递的是程序之间的数据，而不是信件。

墨瑾轩·2025-02-17 04:29

使用Java和RabbitMQ构建消息队列系统

使用Java和RabbitMQ构建消息队列系统大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！

微赚淘客系统@聚娃科技·2025-02-17 03:26

深入理解Kafka—如何保证Exactly Once语义

作者：禅与计算机程序设计艺术1.简介Kafka是一种高吞吐量、分布式、可分区、多副本的消息系统。它在使用上非常灵活，可以作为Pulsar、RabbitMQ的替代品。

AI天才研究院·2025-02-17 03:22

【kafka系列】生产者

目录发送流程1.流程逻辑分析阶段一：主线程处理阶段二：Sender线程异步发送核心设计思想2.流程关键点总结重要参数一、核心必填参数二、可靠性相关参数三、性能优化参数四、高级配置五、安全性配置（可选）六、错误处理与监控典型配置示例关键注意事项发送流程序列化与分区：消息通过Partitioner选择目标分区（默认轮询或哈希），序列化后加入RecordAccumulator缓冲区。批次合并：Sende

漫步者TZ·2025-02-17 02:21

【kafka系列】broker

目录Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程Broker处理消费者消息的核心流程关键点总结Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程接收请求Broker的SocketServer接收来自生产者的ProduceRequest（基于Reactor网络模型）。请求解析与验证解析请求头（Topic、P

漫步者TZ·2025-02-17 02:21

【kafka系列】如何选择消息语义？

目录业务权衡如何选择消息语义？业务权衡维度At-Most-OnceAt-Least-OnceExactly-Once消息丢失风险高低无消息重复风险无高无网络开销最低（无重试）中等（可能重试）最高（事务+协调）适用场景可容忍丢失的实时数据流不允许丢失的日志采集金融交易、精准统计如何选择消息语义？At-Most-Once：优先性能与低延迟，接受数据丢失（如实时监控）。At-Least-Once：优先可

漫步者TZ·2025-02-17 02:49

kafka动态监听主题

简单版本importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.kafka.core.ConsumerFactory

S Y H·2025-02-16 23:27

架构设计中的消息队列和事件驱动通信

背景介绍在现代软件系统架构设计中，消息队列和事件驱动通信已成为构建灵活、可扩展和高可用系统的基石。

AI大模型应用之禅·2025-02-16 22:21

【kafka系列】Exactly Once语义

目录1.Exactly-Once语义的定义2.Kafka实现Exactly-Once的机制3.端到端Exactly-Once示例场景描述3.1生产者配置与代码3.2消费者配置与代码4.异常场景与Exactly-Once

漫步者TZ·2025-02-16 19:57

【Golang学习之旅】Go 语言微服务架构实践（gRPC、Kafka、Docker、K8s）

文章目录1.前言：为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战1.2为什么选择Go语言构建微服务架构2.Go语言简介2.1Go语言的特点与应用2.2Go语言的生态系统3.微服务架构中的gRPC实践3.1什么是gRPC？3.2gRPC在Go语言中的实现1.前言：为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战随着互联网技术的飞速发展，尤其是云计算的普及，微服务架构已经成为

程序员林北北·2025-02-16 09:40

zipkin备忘

server安装https://zipkin.io/pages/quickstart.html这里提供了几种安装方式当天他可以吧数据方存cassandra，kafka，es，等地方服务器直接下载curl-sSLhttps

dzl84394·2025-02-16 06:18

多进程与多线程的理论及应用场景

每个进程都有独立的内存空间和资源多线程：指在同一个进程内同时运行多个线程，线程共享进程的内存空间和资源内存和资源多进程：每个进程都有独立的内存空间和资源进程之间的通信通过IPC机制，如管道、共享内存、消息队列等由于进程独立

敖光 SRE·2025-02-16 04:01

org.apache.kafka.common.errors.TimeoutException

个人博客地址：org.apache.kafka.common.errors.TimeoutException|一张假钞的真实世界使用kafka-console-producer.sh向远端Kafka写入数据时遇到以下错误

一张假钞·2025-02-16 03:56

kafka的kafka-console-consumer.sh和kafka-console-producer.sh如何使用

一、两款工具对比功能用途kafka-console-consumer.sh是简单的命令行消费者工具，主要用于在控制台显示从Kafka主题消费的消息，适用于测试生产者是否正常发送消息、查看消息格式等调试场景

WilsonShiiii·2025-02-16 03:56

消息队列随笔 3-抽象配置(spring-cloud-stream-rabbit)

0.慢慢的做梦…十五.SpringCloud极简入门-SpringCloudStream消息驱动(版本有些过时了)SpringCloudStream进阶配置——高可用（二）——死信队列rabbitmq-client中文文档借助bindingRoutingKey属性配置exchange使用的路由键spring-cloud-stream整合rabbitmq消息分区rabbitmq消息补偿方案Rabbi

肯尼思布赖恩埃德蒙·2025-02-16 03:55

RocketMQ与kafka如何解决消息积压问题？

主要介绍两款产品RocketMQ和Kafka的解决方式，以及其差异，本质上的差异就是RocketMQ与Kafka之间的存储结构差异带来的，基本的处理思路还是怎么控制生产

一个儒雅随和的男子·2025-02-16 03:54

浅聊MQ之Kafka与RabbitMQ简用

Kafka与RabbitMQ的使用举例Kafka的使用举例安装与启动：从ApacheKafka官网下载Kafka中间件的运行脚本。

天天向上杰·2025-02-16 03:24

浅聊MQ之Kafka、RabbitMQ、ActiveMQ、RocketMQ持久化策略

以下是主流消息队列（Kafka、RabbitMQ、ActiveMQ、RocketMQ）的持久化策略详解及实际场景示例：1.Kafka持久化策略核心机制：日志分段存储：每个Topic分区对应一个物理日志文件

天天向上杰·2025-02-16 03:24

架构师技术图谱

分布式漫谈分布式系统大数据存储微服务可落地的DDD(6)-工程结构推荐系统框架消息队列编程语言设计模式重构集群

modouwu·2025-02-16 03:24

《Python全栈开发：构建高并发物联网数据中台实战》

系统采用微服务架构，核心功能包括：百万级设备并发接入（基于MQTT协议）实时流数据处理（ApacheKafka+Faust）时序数据存储（InfluxDB+Redis）智能告警引擎（规则引擎+机器学习）

放氮气的蜗牛·2025-02-15 22:15

紫光展锐面试——软件岗

3三面面试案例11、自我介绍2、问项目、方向3、static关键字4、volatile关键字5、final关键字6、synchronized关键字7、进程和线程的区别8、进程通信方式的区别（共享内存、消息队列优缺点

fpga和matlab·2025-02-15 19:27

Ubuntu 上安装和配置 Apache RocketMQ 4.7.1

RocketMQ是一个分布式消息队列系统，通常需要安装Namesrv（NameServer）和Broker组件。

java 凯·2025-02-15 17:38

消息队列之-RabbitMq 学习

生产者服务A/消费者服务B服务A和服务B配置：依赖org.springframework.bootspring-boot-starter-amqpyamlspring:rabbitmq:host:${RABBITMQ_HOST:localhost}port:${RABBITMQ_PORT:5672}username:${RABBITMQ_USERNAME:guest}password:${RABB

likesyour·2025-02-15 08:01

Redis Sentinel（哨兵）模式介绍

作为内存数据库的代表，Redis以其快速响应和灵活的数据结构，广泛应用于缓存、消息队列、实时数据分析等场景。然而，在实际生产环境中，硬件故障、网络中断等问题不可避免。

WeiLai1112·2025-02-15 07:56

Redis 主从复制详解

Redis主从复制介绍前言Redis是一个高性能的键值存储系统，广泛应用于缓存、消息队列、实时分析等场景。

WeiLai1112·2025-02-15 07:26

隨筆 20241023 Kafka 事务

Kafka事务概述原子性要求：在需要将数据同时发送到多个broker中的不同分区时，使用事务可以确保这些操作具备原子性，确保要么全部成功，要么全部失败。

靈臺清明·2025-02-15 07:18

基于 Redis 的通讯架构：一种替代 RPC 的新思路

而Redis，这个在缓存、消息队列等领域大放异彩的高性能键值存储数据库，为我们开辟了一条新思路。

步子哥·2025-02-14 23:18

推荐频道

消息队列（Kafka）