消息队列Kafka

rabbitmq如何保证消息顺序消费

RabbitMQ保证消息顺序消费主要依赖于以下几个机制和配置：1.消息队列的顺序顺序保证：RabbitMQ在一个队列中的消息是有顺序的，消息会按照发送的顺序进入队列，并且在消费时也会按照顺序被取出。
蘋天纬地·2025-02-10 04:03

【RabbitMQ】如何保证消息的顺序性+解决消息积压+设计消息队列中间件

我该怎么保证从消息队列里拿到的数据按顺序执行。这是MQ面试必问的问题之一。第一看看你了解不了解顺序这个事，第二看看你有没有办法保证消息是有序的。这是生成环境中常见的问题。mysql的binlog同步。
LemmonTreelss·2025-02-10 04:02

聊聊rocketmq5的顺序消息队列选择

序本文主要研究一下rocketmq5的顺序消息的队列选择SendMessageActivityproxy/src/main/java/org/apache/rocketmq/proxy/grpc/v2/producer/SendMessageActivity.javapublicclassSendMessageActivityextendsAbstractMessingActivity{publi
·2025-02-09 22:16

python的异步编程

这里的异步编程基于python3.4和python3.51、一些重要的概念理解（1）循环消息队列：异步IO采用消息循环的模式，重复“读取消息—处理消息”的过程消息模型解决等待IO操作的问题：程序发出IO
LoveMIss-Y·2025-02-09 21:07

计算机毕业设计hadoop+spark+hive新能源汽车数据分析可视化大屏 汽车推荐系统 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习 大数据毕业设计 深度学习 知识图谱 人工智能

（2）设计要求利用Flume进行分布式的日志数据采集，Kafka实现高吞吐量的数据传输，DateX进行数据清洗、转换和整
qq+593186283·2025-02-09 21:35

Kafka系列之：Kafka存储数据相关重要参数理解

Kafka系列之：Kafka存储数据相关重要参数理解一、log.segment.bytes二、log.retention.bytes三、日志段四、log.retention.check.interval.ms
快乐骑行^_^·2025-02-09 18:22

Kafka服务端配置

下载解压kafka后，在kafka/config下有3个配置文件与主题的生产、消费相关。
yaoleic·2025-02-09 18:52

探索 FAST MQ：高性能轻量级消息队列系统的魅力

作为一名拥有超过二十年软件研发经验的技术人，我在大型复杂系统的规划、决策、分析、设计与开发领域不断深耕。从东南大学系统工程研究所硕士毕业后，我先后在中兴通讯、华为等知名企业任职，主导开发了多个大型系统，涵盖了从第一代交换机到彩信、WapGW、HLR等平台中间件。在这过程中，我深刻体会到技术创新的力量，也始终秉持着开源精神，希望能为行业发展贡献自己的力量。今天，我想向大家介绍我独立开发并开源的高性能
·2025-02-09 18:39

微服务十三 日志收集项目结构设计及Kafka介绍

个人博客：太阳上的雨天地址：http://blog.caixiaoxin.cn善于分享，希望有助他人.非常感谢各位大佬的关注和支持日志收集项目结构设计及Kafka介绍项目背景每个业务系统都有日志，当系统出现问题时
太阳上的雨天·2025-02-09 18:50

python消费kafka数据nginx日志实时_基于nginx+flume+kafka+mongodb实现埋点数据采集

名词解释埋点其实就是用于记录用户在页面的一些操作行为。例如，用户访问页面(PV，PageViews)、访问页面用户数量(UV,UserViews)、页面停留、按钮点击、文件下载等，这些都属于用户的操作行为。开发背景我司之前在处理埋点数据采集时，模式很简单，当用户操作页面控件时，前端监听到操作事件，并根据上下文环境，将事件相关的数据通过接口调用发送至埋点数据采集服务(简称ets服务)，ets服务对数
weixin_39534208·2025-02-09 18:50

kafka简单使用

kafka简单介绍kafka是apache旗下的一款开源免费的消息队列中间件，最早由LinkedIn开发，后面贡献给Apache，目前是Apache旗下顶级开源项目（http://www.kafka.apache.org
zeroLinked·2025-02-09 18:18

Springboot整合kafka简单使用

kafka一，介绍Kafka是一个开源的分布式流处理平台，最初由LinkedIn开发并贡献给Apache软件基金会。它设计用于构建高性能、持久性、可伸缩和容错的实时数据管道和流处理应用程序。
陈小唬·2025-02-09 18:17

kafka_2.13-3.9 集群部署，非zookeeper，并添加SASL/PLAIN认证

1.环境准备ubuntu24.04（不一定非得是24的）java:sudoapt-getinstallopenjdk-11-jdk下载文件：kafka_2.13-3.9.0.tgz模拟集群环境:192.168.1.1192.168.1.2192.168.1.32
look_miao·2025-02-09 18:17

从服务端埋点到Kafka（二）

主要操作主要的内容就是根据模型的字段要求，在相应的游戏逻辑执行时将埋点的json串发送到Kafka代码实现由于游戏服务端采用Java编写，所以现在以Java为例进行说明publicabstractclassLogEventimplementsSerializable
c_jhsp·2025-02-09 18:15

Kafka系列8：一网打尽常用脚本及配置，宜收藏落灰！

前言通过前面7篇文章的介绍，小伙伴们应该对Kafka运行工作原理有一个相对比较清晰的认识了。
assasinSteven·2025-02-09 18:15

【大数据技术】Kafka实时分析用户行为日志（python+zookeeper+kafka）

Kafka实时分析用户行为日志（python+zookeeper+kafka）搭建完全分布式高可用大数据集群（ZooKeeper）搭建完全分布式高可用大数据集群（Kafka）本机PyCharm远程连接虚拟机
Want595·2025-02-09 17:13

RabbitMQ是什么？

RabbitMQ是一个开源的消息队列系统（也称为消息中间件），它实现了高级消息队列协议（AMQP）并提供了多种消息传递特性，支持多种编程语言。
爱学习的白杨树·2025-02-09 14:22

95-20-010-协议-Kafka的Request和Response

文章目录1.视界1.概述2.基础数据结构类:2.1Type类:2.2ArrayOf类:2.3Field类:2.4Schema类:2.5Sturct类:3.协议相关类型:3.1Protocol类:3.2ApiKeys类:4.Request和Response相关类型4.1AbstractRequestResponse类:4.2AbstractRequest类:4.3ProduceRequest类:Re
九师兄·2025-02-09 10:56

基于OSAL的嵌入式裸机事件驱动框架——DEMO

感谢大佬分享B站up主【架构分析】嵌入式祼机事件驱动框架DEMO演示，使用OSAL的任务事件，定时器以及消息队列功能进行一个简单的使用演示有两个任务LED任务-定时器1事件：500ms闪烁一次-定时器2
小朱炖粉条·2025-02-09 09:47

持续集成平台（JAVA）调用Jenkins的相关逻辑

CI平台涉及的应用平台关系1、前端配置参数、触发任务、查询结果2、CI平台在midjob中注册定时任务，midjob定时调度触发CI任务3、CI平台监听Shaman应用发出的应用部署构建的MQ消息队列，
白面贼·2025-02-09 09:44

微服务架构中的事件驱动设计：使用 Kafka 和 Apache Pulsar 实现高效的事件流管理

随着大规模分布式系统的复杂性不断增加，事件流平台如ApacheKafka和ApachePulsar在事件驱动架构
桂月二二·2025-02-09 08:08

Filebeat 连接Kafka 失败

listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://IP地址:9092
ms_勇往直前·2025-02-09 08:37

RabbitMQ技术深度解析：打造高效消息传递系统

引言在当前的分布式系统架构中，消息队列作为一种高效的消息传递机制，扮演着越来越重要的角色。RabbitMQ，作为广泛使用的开源消息代理，以其高可用性、扩展性和灵活性赢得了众多开发者的青睐。
lozhyf·2025-02-09 05:17

信号，System V IPC对象 共享内存，消息队列，信号灯

信号信号是在软件层次上对中断机制的一种模拟，是一种异步通信方式如果该进程当前并未处于执行态，则该信号就由内核保存起来，直到该进程恢复执行再传递给它；如果一个信号被进程设置为阻塞，则该信号的传递被延迟，直到其阻塞被取消时才被传递给进程kill函数原型:intkill(pid_tpid,intsig);函数参数:pid:正数:要接收信号的进程的进程号0:信号被发送到所有和pid进程在同一个进程组的进程
musir1·2025-02-09 04:06

查看kafka的topic列表

\kafka-topics.bat--zookeeper127.0.0.1:2181--list2.查看指定topic.
荒烟蔓草·2025-02-09 02:48

面试官：谈谈你对IO多路复用的理解？

“IO多路复用”是编程中常见的技术词汇，使用这种技术的框架有很多，如，Redis、Kafka、Netty、Nginx中都用到了此技术。那问题来了，什么是IO多路复用？它的具体实现技术有哪些？
·2025-02-08 23:07

Dolphinscheduler集成Flink任务踩坑记录

taskAppId=TASK-10-108-214]:[138]-->java.lang.NoClassDefFoundError:org/apache/flink/streaming/connectors/kafka
若小鱼·2025-02-08 22:52

kafka 集群为什么依赖 zookeeper ？

kafka集群为什么依赖zookeeper？在Kafka集群中，ZooKeeper扮演了关键的角色，负责协调和管理Kafka的分布式系统。
将臣三代·2025-02-08 10:55

什么是Kafka？有什么主要用途？

Kafka是一个分布式流处理平台，最初由LinkedIn开发并开源，后来成为Apache软件基金会的一个顶级项目。它被设计用于高吞吐量、持久性、分布式的数据流处理。
还能在学一小时·2025-02-08 09:51

RabbitMQ消息队列 顺序消费、消息丢失、重复消费等问题

消息队列使用场景很多，最常见的是：解耦、异步、削峰1.解耦：使用消息队列避免模块间的直接调用。
甲 烷·2025-02-08 08:38

基于C++11并发库的线程池与消息队列多线程框架——std::condition_variable 类

condition_variable类是用来阻塞线程或者是多线程的同步原语，直到另一个线程修改完共享变量（thecondition）,并通知condition_variable。尝试修改变量的线程必须：获得std::mutex，典型的通过std::lock_guard()加锁后对变量进行修改在std::condition_variable上执行notify_oneornotify_all即使共享变
godqiao·2025-02-08 06:54

RabbitMQ的工作原理及其在Java中的应用

RabbitMQ和消息队列的工作方式RabbitMQ的工作核心是消息队列。生产者发送消息到队列，消费者从队列中取出并处理消息。这个过程是异步的，生产者不需要等待消费者处理完消息才能继续发送
断春风·2025-02-08 04:40

Apache Kafka：高吞吐分布式流平台的深度解析

引言：流数据时代的挑战在实时推荐、物联网数据处理、金融交易监控等场景中，传统消息队列面临三大核心挑战：海量数据吞吐：日均千亿级消息处理需求超低延迟要求：毫秒级端到端传递延迟数据持久保障：故障恢复后消息零丢失
lozhyf·2025-02-08 04:07

Kafka 之事务消息

前言：在分布式消息系统中，事务消息也是一个热门课题，在项目的实际业务场景中，如果用到事务消息的场景也不少见，那Kafka作为一个高性能的分布式消息中间件，同样也支持事务消息，本篇我们将对Kafka的事务消息展开讨论
码农爱java·2025-02-08 04:09

XXL-MQ v1.3.0 ｜ 分布式消息队列

ReleaseNotes1、【增强】消费者分组属性"group"支持为空，为空时自动赋值UUID，方便实现多分组广播消费；2、【增强】海量数据堆积：消息数据存储在DB中，原生兼容支持"MySQL、TIDB"两种存储方式，前者支持千万级消息堆积，后者支持百亿级别消息堆积（TIDB理论上无上限）；3、【优化】消费者批量注册发现，提高注册发现性能；4、【优化】消息流转日志格式优化，提升日志可读性；5、【
·2025-02-08 02:59

Cilium系列-15-7层网络CiliumNetworkPolicy简介

在Cilium中，可以为不同的协议（包括HTTP、Kafka和DN
·2025-02-08 02:56

XXL-MQ v1.3.0 ｜ 分布式消息队列

ReleaseNotes1、【增强】消费者分组属性"group"支持为空，为空时自动赋值UUID，方便实现多分组广播消费；2、【增强】海量数据堆积：消息数据存储在DB中，原生兼容支持"MySQL、TIDB"两种存储方式，前者支持千万级消息堆积，后者支持百亿级别消息堆积（TIDB理论上无上限）；3、【优化】消费者批量注册发现，提高注册发现性能；4、【优化】消息流转日志格式优化，提升日志可读性；5、【
·2025-02-08 02:25

kafka 控制器是什么？有什么作用？思维导图 代码示例（java 架构)

Kafka控制器（Controller）是Kafka集群中的一个特殊节点，它负责协调和管理集群内的一系列关键操作。
用心去追梦·2025-02-07 23:08

RabbitMQ安装与卸载（CentOS7版）

1.简介  RabbitMQ是实现了高级消息队列协议（AMQP：AdvancedMessageQueuingProtocol）的开源消息代理软件（亦称面向消息的中间件）。
Stackflowed·2025-02-07 23:38

项目中常用中间件有哪些？分别起什么作用？

在项目开发中，常用的中间件包括消息中间件、缓存中间件、数据库中间件等，以下是一些常见的中间件及其作用：消息中间件Kafka：一般用于处理大规模的消息数据，具有高吞吐量、低延迟的特点，适用于日志收集、消息队列等场景
静静在思考·2025-02-07 22:07

Kafka：学习Kafka如何保证可靠性

一、读前需知针对Kafka消息重复的场景与解决方法的思路均来自@老周聊架构聊聊Kafka：Kafka如何保证可靠性，我仅以一个初学者的视角进行笔记和总结，非常感谢作者的分析。
·2025-02-07 22:18

Kafka 和 RocketMQ 对比总结

Kafka和RocketMQ对比总结1.主要区别特性KafkaRocketMQ设计目标高吞吐量、分布式日志系统金融级消息队列，强调消息可靠性和事务消息模型基于分区（Partition）的发布-订阅模型基于主题
·2025-02-07 21:43

一文搞懂Kafka的设计与实现

作者：禅与计算机程序设计艺术1.背景介绍ApacheKafka是一个开源流处理平台，主要用于实时数据传输、存储、分析和应用的一种分布式消息系统。
AI天才研究院·2025-02-07 21:27

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka
m0_74823336·2025-02-07 16:57

Redis入门指南

Redis是一种高性能的键值存储系统，广泛应用于缓存、消息队列、会话存储等场景。本文将详细介绍如何安装Redis、使用可视化工具查看数据，并在SpringBoot项目中集成Redis。
格子先生Lab·2025-02-07 16:23

c语言练习题【消息队列、共享内存、信号灯集】

练习1:消息队列请使用消息队列实现2个终端之间互相聊天#发送端key_tkey;intid;typedefstructMsgbuf{longchannel;charbuf[128];}msg_t;intmain
Heris99·2025-02-07 12:28

SpringCloud详细讲解

服务间采用轻量级通信机制进行通信，如HTTPAPI或消息队列。
上官花雨·2025-02-07 10:14

Debezium系列之：处理decimal数据类型org.apache.kafka.connect.data.Decimal

Debezium系列之：处理decimal数据类型org.apache.kafka.connect.data.Decimal一、背景二、Debezium处理decimal数据类型三种方式三、precise
快乐骑行^_^·2025-02-07 08:00

浅谈分布式事务

分布式事务是指涉及多个独立数据源（如数据库、消息队列、缓存等）的事务，确保这些操作要么全部成功，要么全部回滚，以保证数据一致性。
纠结哥_Shrek·2025-02-07 07:27

Redis持久化-秒杀系统设计

在构建高性能、高可用的系统时，Redis作为缓存和消息队列的角色越来越重要。在一些场景下，我们还需要将Redis的数据进行持久化，以确保数据的安全性和恢复能力。
你也想高人一等啊？·2025-02-07 06:51
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他