消息队列Kafka

大数据学习（67）- Flume、Sqoop、Kafka、DataX对比

如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦工具主要作用数据流向实时性数据源/目标应用场景Flume实时日志采集与传输从数据源到存储系统实时日志文件、网络流量等→HDFS、HBase、Kafka
viperrrrrrr·2025-03-15 09:51

从前端视角理解消息队列：核心问题与实战指南

消息队列（MessageQueue）是现代分布式系统的核心组件之一，它在前后端协作、系统解耦、流量削峰等场景中发挥着重要作用。
秋水为渡·2025-03-15 09:20

基础知识《Redis解析》

Redis详细解析与介绍Redis（RemoteDictionaryServer）是一个开源的高性能键值对（Key-Value）数据库，支持多种数据结构（如字符串、哈希、列表、集合等），广泛应用于缓存、消息队列
Hum8le·2025-03-15 07:02

Go语言分布式ID生成策略优选：UUID、Snowflake、XID、ObjectID、Krand性能对比评测

在高并发应用场景下，如订单系统、分布式数据库主键、消息队列等，分布式ID的生成至关重要。
zhuyasen·2025-03-15 06:27

STM32上使用UCOSII--软件定时器和任务延时

有关UCOS任务的介绍：STM32上使用UCOSII–任务有关UCOS信号量和邮箱的介绍：STM32上使用UCOSII–信号量和邮箱有关消息队列和信号量集的介绍:STM32上使用UCOSII–消息队列和信号量集一
Zach_z·2025-03-15 05:42

kafka 中的 rebalance

Kafka的Rebalance（重平衡）机制本质上是一个协调过程，用于在消费者组内动态分配分区，以保证消费任务均匀分布。
百里自来卷·2025-03-15 03:23

Java面试精选：Kafka+Zookeeper+redis+JVM+RabbitMQ，最全总结

大家开始准备金九银十了吗？不知是跳槽还是找工作的朋友，趁现在增进一下自己的技术何尝不是一件好事呢？一、RabbitMQ1.rabbitmq的使用场景有哪些？2.rabbitmq有哪些重要的角色？3.rabbitmq有哪些重要的组件？4.rabbitmq中vhost的作用是什么？5.rabbitmq的消息是怎么发送的？6.rabbitmq怎么保证消息的稳定性？7.rabbitmq怎么避免消息丢失？8
我叫小迁W：bjmsb2019·2025-03-15 03:52

Kafka、RocketMQ、RabbitMQ三款消息中间件的原理

最近学习了Kafka、RocketMQ、RabbitMQ三款消息中间件的原理，本文主要是记录一下Kafka、RabbitMQ、RocketMQ三款中间件之间的区别。
家常凉菜·2025-03-14 12:48

Spring Cloud Alibaba RocketMQ 消息队列

作者：禅与计算机程序设计艺术1.简介RocketMQ是一款开源、高性能、分布式消息中间件，它具备以下主要特征：支持海量消息堆积能力，支持发送10万+TPS，且不受单机容量限制；提供灵活的消息过滤机制，支持按照标签，SQL92标准的过滤语法进行消息过滤；丰富的消息订阅模型，包括广播消费，集群消费，事务消费等多种模式；内置丰富的管理控制台，通过WebUI来方便地对集群进行管理、监控及报警；高吞吐量，单
AI天才研究院·2025-03-14 12:47

Redis- 秒杀场景

秒杀什么是秒杀场景秒杀场景挑战有哪些高并发与性能挑战数据一致性挑战安全性挑战秒杀系统的架构设计前端策略服务层设计库存控制策略订单处理流程技术实现缓存设计与优化分布式锁与一致性保证消息队列应用安全防护措施什么是秒杀场景秒杀场景的本质是在极短时间内承受大量并发请求
左灯右行的爱情·2025-03-14 06:32

【面试题系列】Redis 常见面试题&答案

场景：消息队列（LPUSH+RPOP）、微博时间线。Set：无序唯一集合，支持交集、并
颜淡慕潇·2025-03-14 05:51

java八股文之消息中间件

org.apache.kafkakafka-clients3.0.02.创建生产者生产者（Producer）是发送消息到Kafka的一个客户端。
Rverdoser·2025-03-14 01:30

【C++设计模式】第二十三篇：观察者模式（Observer）

3.事件驱动架构：适用于GUI事件处理、数据监控、消息队列等
JuicyActiveGilbert·2025-03-13 11:21

flink读kafka写入mysql_Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL

上周六在深圳分享了《FlinkSQL1.9.0技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的Demo代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于FlinkSQL的初学者能有所帮助。完整分享可以观看Meetup视频回顾：https://developer.aliyun.com/live/1416这份代码主要由两部分组成：1)能用来提交SQL文件的SqlSubmi
苏远岫·2025-03-13 10:14

Flink SQL 读取 Kafka 数据到 Mysql 实战

Flink1.9.2SQL读取Kafka数据到Mysql实战案例需求通过Flinksql使用DDL的方式，实现读取kafka用户行为数据，对数据进行实时处理，根据时间分组，求PV和UV，然后输出到mysql
小技工丨·2025-03-13 09:01

自学嵌入式第25天------消息队列，共享内存，信号灯

1.消息队列消息队列的创建与打开：使用msgget()函数创建或打开一个消息队列。需要指定唯一的key值和权限标志（如IPC_CREAT）。消息的发送与接收：使用msgsnd()发送消息到队列。
以德服人23·2025-03-13 05:05

使用 Node.js 和 Follow 模块监控 CouchDB 数据库变更

在现代分布式系统中，实时监控数据库变更并将数据推送到消息队列（如RabbitMQ）是一个常见需求。
田猿笔记·2025-03-12 23:54

本地docker安装zookeeper,kafka,flink

首先安装zookeeper这里zookeeper的安装是为了去使用kafka这里我们安装的是wurstmeister的kafka和zookeeper镜像也是在hub.docker.com网站上，Star
a724952091·2025-03-12 22:44

Docker-compose编排部署Kafka伪分布式集群(为后续实验搭建基础环境)

本实验参照官网http://kafka.apache.org/documentation/构建,为后续了解kafka应用做环境准备。
F_Hello_World·2025-03-12 22:13

deepseek+ansible实现AI自动化集群部署

[架构图示意]用户交互层→AI决策层→执行引擎层→数据反馈层││││▼▼▼▼Web/CLI→DeepSeek引擎→Ansible→监控系统用户交互层Web界面：支持自然语言输入（如"部署10节点Kafka
大囚长·2025-03-12 20:59

面试基础---分布式架构基础消息队列Kafka vs RabbitMQ vs RocketMQ 对比

分布式架构消息队列深度解析：KafkavsRabbitMQvsRocketMQ引言在高并发、高可用的分布式系统中，消息队列是实现异步通信、流量削峰、系统解耦的核心组件。
WeiLai1112·2025-03-12 19:27

Kafka 深入解析：架构原理、基本使用及丢数据场景分析

Kafka是一个高吞吐、分布式的消息队列系统，被广泛应用于日志处理、流式数据处理和事件驱动架构。本篇文章将详细介绍Kafka的架构原理、基本使用方法，并分析Kafka可能的丢数据场景及其解决方案。
唐唐爱吃糖111·2025-03-12 11:36

Java集成消息队列实战：从RabbitMQ到Kafka的完整解决方案 [特殊字符]

一、为什么消息队列是分布式系统的血脉？
添砖Java中·2025-03-12 09:51

Linux进程间通信有哪些，分别起到了什么作用

方法及其核心作用和使用场景：一、IPC主要方式及对比机制通信模式数据形式同步/异步适用场景优缺点管道单向流字节流同步父子进程简单通信简单但单向，容量有限命名管道单向/双向流字节流同步非父子进程间通信跨进程但需文件系统路径消息队列消息传递结构化数据包异步
TJ_Dream·2025-03-12 08:13

Spring Boot 整合 Redis 步骤详解

连接信息4.创建Redis操作服务类5.使用RedisTemplate或ReactiveRedisTemplate6.测试Redis功能7.注意事项8.总结Redis是一个高性能的键值存储系统，常用于缓存、消息队列等多种场景
m0_74823094·2025-03-12 03:02

日常工作，MQ的7种常用使用场景

日志处理详细解释运用场景代码示例4.数据同步详细解释运用场景代码示例5.任务调度详细解释运用场景代码示例6.分布式事务详细解释运用场景代码示例7.系统集成详细解释运用场景代码示例以下为你详细介绍MQ（消息队列
浪九天·2025-03-12 03:57

使用Spring Boot集成Kafka开发：接收Kafka消息的Java应用

Kafka是一个分布式的流处理平台，它具有高吞吐量、可扩展性和容错性的特点。SpringBoot提供了与Kafka集成的便捷方式，使得开发者可以轻松地创建Kafka消息接收应用。
YazIdris·2025-03-11 20:30

Spring Boot 集成 Kafka

为了实现系统之间的异步通信和解耦，消息队列成为了一种重要的技术手段。Kafka作为一种高性能、分布式的消息队列系统，被广泛应用于各种场景。
m0_74824592·2025-03-11 20:57

Golang分布式事务_golang 分布式事务

消息队列消息队列是一种异步通信机制，可以用于实现分布式
2401_87197933·2025-03-11 19:50

我与DeepSeek读《大型网站技术架构》（3）

服务端优化：缓存（Redis/Memcached）、异步处理（消息队列）
诺亚凹凸曼·2025-03-11 18:11

flink+kafka实现流数据处理学习

在应用系统的建设过程中，通常都会遇到需要实时处理数据的场景，处理实时数据的框架有很多，本文将以一个示例来介绍flink+kafka在流数据处理中的应用。
上海研博数据·2025-03-11 17:06

Zookeeper+kafka学习笔记

Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。配置管理分布式系统都有好多机器，比如我在搭建hadoop的HDFS的时候，需要在一个主机器上（Master节点）配置好HDFS需要的各种配置文件，然后通过scp命令把这些配置文件拷贝到其他节点上，这样各个机器拿到的配置信息是一致的，才能成功运行起来HDFS服务。Zookeeper提供了这样的一种服务：一种集
CHR_YTU·2025-03-11 16:01

SpringBoot下kafka配置生产者和消费者

SpringBoot下kafka配置生产者和消费者KafkaResourceConfiguration.javapackageits.uts.kafkatest;importlombok.Data;importorg.apache.kafka.clients.consumer.ConsumerConfig
种豆走天下·2025-03-11 16:00

探讨消息队列系统：AWS SQS vs. Apache Kafka

在现代软件架构中，消息队列系统扮演着关键角色，帮助系统实现异步通信、负载均衡和解耦。两种广泛使用的消息队列系统是AWSSimpleQueueService(SQS)和ApacheKafka。
fxrz12·2025-03-11 16:53

Zookeeper与Kafka学习笔记

核心要点1.核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka
上海研博数据·2025-03-11 15:51

zookeeper与kafka集群配置

基本配置修改ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.139.133NETMASK=255.255.255.0GATEWAY=192.168.139.2DNS1=192.168.1.1修改主机名hostnamectlset-hostnameSSH免密登录vi/etc/
zhangpeng455547940·2025-03-11 12:26

Java八股文九：Redis

5、如何使用Redis实现消息队列？九、Redis1、数据类型String常用命令：set,get,decr,incr,mget等。
m78探索者·2025-03-11 04:54

Windows下安装kafka

在Windows系统下安装Kafka可以按照以下步骤进行：1.安装Java环境Kafka是基于Java开发的，因此需要先安装Java环境。
计算机软件程序设计·2025-03-11 02:34

Rabbitmq从入门到精通

文章目录1.RabbitMQ简介1.2组件介绍1.1消息队列的选择1.2Docker安装rabbitmq1.4消息应答机制2.1交换机类型2.1direct2.2fanout2.3topic：2.4header3RabbitMQ
XJzz3·2025-03-10 23:17

VEC系列-RabbitMQ 入门笔记

消息队列（MQ）对于开发者来说是一个经常听到的词汇，但在实际开发中，大多数人并不会真正用到它。网上已经有很多关于MQ概述和原理的详细讲解，官网文档和技术博客也都介绍得很深入，因此，我在这里就不再赘述。
怎么又抽烟·2025-03-10 23:42

RabbitMQ知识点梳理

客户端（生产者及消费者）使用RabbitMQ消息中间件均需要连接到Broker，使用Rabbit的消息队列服务。VirtualHost：Broker的虚拟机，提供多租户功能，实现租户的权限分离。
java1224·2025-03-10 17:32

面试必备：Kafka高频面试题及答案解析

本文，已收录于，我的技术网站aijiangsir.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享Kafka中的ProducerAPI是如何工作的？
江-小北·2025-03-10 10:11

kafka + flink +mysql 案例

假设你有两个Kafka主题：user_activities_topic和product_views_topic，并且你希望将user_activities_topic中的数据写入到user_activities
angen2018·2025-03-10 07:47

Redis 架构师核心知识掌握概览

作为架构师，掌握Redis的核心知识点和学习内容是非常重要的，因为Redis是一个高性能的键值存储系统，广泛应用于缓存、会话管理、消息队列等场景。
将臣三代·2025-03-10 05:07

数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark

1.引言：数据湖与数据仓库的融合趋势在大数据时代，传统的数据仓库（DataWarehouse,DW）因其强一致性和高效查询能力，一直是企业数据分析的核心。然而，随着数据量和数据类型的爆炸式增长，传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题，数据湖（DataLake）概念应运而生。数据湖能够存储原始数据，支持半结构化和非结构化数据，提供更灵活的计算框架，但其缺乏事务管理和数据一致性
晴天彩虹雨·2025-03-10 03:22

ABP框架综合示例代码及消息队列(MQ)集成教程

本教程包含所有ABP核心功能和模块的示例代码，展示如何利用ABP开发不同类型的项目，并详细讲解了ABP支持的消息队列（如RabbitMQ）的集成方法。
KX-EZ·2025-03-10 00:27

Kafka、RabbitMQ、RocketMQ的区别

Kafka、RabbitMQ、和RocketMQ都是广泛使用的消息中间件，它们各自有不同的特点、架构设计和应用场景。
种豆走天下·2025-03-10 00:26

Apache Kafka 实践：优化与脚本操作指南

本文还有配套的精品资源，点击获取简介：本文深入探讨了ApacheKafka核心概念及其在IT环境中的应用，特别是与Shell脚本的关联。
无畏道人·2025-03-09 23:15

设计高并发系统：从理论到实践

目录高并发系统概述系统架构设计核心技术与实现线程模型异步处理缓存策略数据库优化分布式系统设计消息队列与事件驱动负载均衡与反向代理性能测试与监控实际应用案例总结1
专业WP网站开发-Joyous·2025-03-09 22:12

电商业务数据测试用例参考

1.数据采集层测试用例编号测试目标测试场景预期结果TC-001验证用户行为日志采集完整性模拟用户浏览、点击、加购行为KafkaTopic中日志记录数与模拟量一致TC-002验证无效数据过滤规则发送爬虫请求
SuperCreators·2025-03-09 22:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他