消息队列&日志处理第8页

缓存一致性问题

为什么要引入消息队列保证一致性？延迟双删会有什么问题？到底要不要用？

Artisan_w·2024-02-04 11:06

kafka自定义分区策略详解

Kafka作为一种高性能、可扩展的消息队列系统，在处理海量数据和高并发场景下表现出色。而针对Kafka消息的分区选择，则可以通过自定义分区器来实现。

啄sir.·2024-02-04 11:01

深入探索Redis：Java开发者的关键指南

Redis(RemoteDictionaryServer)，作为一款高性能的Key/Value键值对存储系统，是一个使用C语言编写的高性能内存数据库，一般会用来做缓存，消息队列，分布式锁，同时还支持事务

南阳·2024-02-04 11:13

kakfa系统架构

消息队列Kafka系统架构Q:什么是Kafka？A：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。

齐爱巴·2024-02-04 10:27

【ELK】logstash快速入门

这就需要有一个中间层，将收集上来的日志处理一遍，然后存进es里面去。es的母公司elastic推出了一套组件，专门用来做日志收集、存储、

_BugMan·2024-02-04 10:25

消息队列-RabbitMQ

消息队列-RabbitMQ中间件中间件就是帮助连接多个系统，能让多个系统紧密协作的技术或者组件。比如：redis、消息队列。比如在分布式系统中，将整个系统按业务进行拆分。

小飞侠要上天·2024-02-04 09:39

JAVA Web 学习（四）RabbitMQ、Zookeeper

十、消息队列服务器——RabbitMQRabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。

CDSN之父·2024-02-04 09:10

消息队列服务Kafka揭秘：痛点、优势以及适用场景

摘要：消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维

云栖社区v·2024-02-04 08:01

Kafka系列（一）【消息队列、Kafka的基本概念、Kafka的工作机制、Kafka可满足的需求、Kafka的特性、Kafka的应用场景】

kafka系列一一、消息队列1.消息队列的来源2.什么是消息队列3.消息队列主要有哪些作用二、Kafka的基本概念代理、生产者、消费者、消费者组主题、分区、副本、记录三、了解Kafka的工作机制-生产消息

_蓝天IT_·2024-02-04 06:57

docker内的资源隔离的linux实现

来实现相应的逻辑，本文就来学习下这几种隔离资源的种类docker资源隔离的种类1.容器主机名和域名的隔离，不同容器可以拥有不同的主机名和域名，并且和宿主机的主机名和域名完全不同2.IPC资源包括信号量，共享内存，消息队列的隔离

lixia0417mul2·2024-02-04 06:57

MQ 消息丢失、重复、积压问题，如何解决？

案例背景以京东系统为例，用户在购买商品时，通常会选择用京豆抵扣一部分的金额，在这个过程中，交易服务和京豆服务通过MQ消息队列进行通信。

super.aladdin·2024-02-04 04:38

RabbitMQ的介绍及使用进阶（Docker+.Net Core）

--AdvancedMessageQueue，高级消息队列协议。它是应用层协议的一个开放标准，

小世界的野孩子·2024-02-04 02:14

Docker安装RabbitMq

docker的安装使用可参考上篇文章Docker安装与Nginx映射配置RabbitMq说明RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。

永动的图灵机·2024-02-04 00:26

Kafka消息流转的挑战与对策：消息丢失与重复消费问题

比如用户下单是通过消息队列处理的，对于用户的订单来说，消息丢失会造成用户下单丢失，影响售卖，如果重复消费，可能会生成多个订单，多卖给了用户货物，影响也很大。

超越不平凡·2024-02-04 00:26

详解RocketMQ中的consumer

Consumer创建启动流程(1)Push和Pull这两种方式，本质都是Pull实现的，所以DefaultMQPullConsumerImpl的start方法启动(2)配置通知方式：广播/集群(3)配置消息队列分配策略

0X码上链·2024-02-03 23:20

STM32 UART/USART与RTOS的多任务通信和同步机制设计

在STM32微控制器中，UART/USART与RTOS的多任务通信和同步机制设计可以通过操作系统提供的任务调度机制和各种同步原语（例如信号量、邮箱、消息队列等）来实现。

嵌入式杂谈·2024-02-03 23:16

高可用Redis服务架构分析与搭建

应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列

foveni·2024-02-03 22:05

Java面试——计网篇

一、基础篇1、TCP/IP网络模型对于同一台设备上的进程间通信，有很多种方式，比如有管道、消息队列、共享内存、信号等方式，而对于不同设备上的进程间通信，就需要网络通信，而设备是多样性的，所以要兼容多种多样的设备

我真的很帅阿·2024-02-03 20:38

第一章 RocketMQ 概述

1、MQ概述1、MQ简介MQ，MessageQueue，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。

小七学爪哇·2024-02-03 19:39

面渣自救攻略！阿里架构师耗时3个月手码的Java面试手册

（这阵容，质量就不用我多说了吧）内容非常全面，主要是结合了互联网大厂的面试需求点，包含了：分布式架构（大型网站系统的特点+架构演化发展历程+微服务）中间件技术（缓存+消息队列+搜索引擎）大数据与高并发技术

π大星的日常·2024-02-03 19:23

2024/02/03

目录进程间通信的7种方式，总结出他们的优点1.内核提供的原始通信方式有三种1.1无名管道1.2有名管道1.3信号2.SystemV提供了三种通信方式2.1消息队列2.2共享内存3.1信号量（信号灯集）3

溪北人·2024-02-03 17:17

【MQ03】发布订阅模式

发布订阅模式上一回我们已经学习了最典型的消息队列的应用。接下来，我们就要学习到的是消息队列中的另一个非常常见的模式。这个模式其实也是一种设计模式，它叫做发布订阅模式。

码农老张Zy·2024-02-03 11:26

java 消息队列持久化_消息队列之RabbitMQ-持久化

在生产过程中，难免会发生服务器宕机的事情，RabbitMQ也不例外，可能由于某种特殊情况下的异常而导致RabbitMQ宕机从而重启，那么这个时候对于消息队列里的数据，包括交换机、队列以及队列中存在消息恢复就显得尤为重要了

桃心香木·2024-02-03 11:26

【MQ04】消息持久化与确认机制

消息持久化与确认机制一个消息队列，最核心的功能就是消息的顺序收发，这个我们之前已经了解过了。而最核心的保证机制，则是在基础的功能之上，消息不丢，消息不重复发送。

码农老张Zy·2024-02-03 11:53

《向量数据库指南》——Milvus Cloud半数使用问题是配置问题

MilvusCloud作为一个分布式向量数据库，除了自身有较多的功能模块，同时还依赖对象存储、消息队列、etcd等第三方组件。为了保证MilvusCloud集群在不同应用场景中均能发挥出最佳性能

LCHub低代码社区·2024-02-03 09:40

RabbitMQ-高级篇

服务异步通信-高级篇消息队列在使用过程中，面临着很多实际问题需要思考：1.消息可靠性消息从发送，到消费者接收，会经理多个过程：其中的每一步都可能导致消息丢失，常见的丢失原因包括：发送时丢失：生产者发送的消息未送达

lisus2007·2024-02-03 08:56

RocketMQ消息队列（二）—— Go语言操作RocketMQ

上篇文章《RocketMQ消息队列（一）——基本概念和消息类型》记录了RocketMQ的一些基本的概念，本文主要写几个go语言操作RocketMQ的示例代码一、发送普通消息import("context

断剑zou天涯·2024-02-03 08:09

常见消息队列：ActiveMQ、RabbitMQ、RocketMQ、Kafka的区别总结

目录前言1、常见消息队列1.ActiveMQ2.RabbitMQ3.RocketMQ4.Kafka2、区别1.消息传递模型2.消息持久化3.消息顺序性4.可靠性5.生态系统和社区支持6.表格对比前言消息队列可以实现应用程序之间的异步通信

cxzm_1024·2024-02-03 07:26

消息队列1：消息队列概述

最近在看消息队列，找了好多资料。终于能够简单的理解了消息队列。

小七奇奇·2024-02-03 03:11

2023/12/3总结

RabbitMq消息队列下载地址RabbitMQ:easytouse,flexiblemessagingandstreaming—RabbitMQ使用详情RabbitMQ使用教程(超详细)-CSDN博客实现延迟队列

lxh0113·2024-02-03 02:47

RocketMQ源码解析(五)-Broker架构及服务启动

空挡·2024-02-03 01:01

RabbitMQ基础知识

RabbitMQ是实现高级消息队列协议（AMQP）的开源消息代理软件（也称为消息的中间件）。RabbitMQ服务器是用Erlang语言编写。消息队列就是一个使用队列来通信的组件。2.有什么特点？

还没想好ONE·2024-02-03 00:10

软件系统架构黄金法则：消息队列在架构中的应用

在这个过程中，消息队列（MessageQueue，简称MQ）作为一种重要的架构组件，逐渐成为了软件系统架构的黄金法则。1.2消息队列的优势消息队列作为一种异步通信机制，可以有效地解耦系统

禅与计算机程序设计艺术·2024-02-02 22:58

Python中的线程、进程、进程池、消息队列

什么是线程cpu调度的最小单位,比如qq，一个聊天窗口就是一个线程。设置守护线程设置守护线程的原因，当主线程结束后，子线程可能还没有结束，就会导致资源的浪费，可以设置子线程为守护线程，当主线程结束后，子线程也必须结束daemon的值为True时子线程为守护线程Pro1=threading.Thread(target=sing,daemon=True,args=(3,))设置主线程等待子线程结束设置

不必介怀·2024-02-02 19:32

进程间通信 | 管道 | PIPE | MKFIFO | 共享内存 | 消息队列

管道管道是UNIX中最古老的进程间通信的形式，我们把从一个进程连接到另一个进程的数据流称为一个管道。一个文件，可以被多个进程打开吗？可以，那如果一个进程打开文件，往文件里面写数据，另一个进程打开文件，读取文件里面的数据。这样可以把文件写到磁盘上，进行读写操作。在之前，我们就用过管道的操作。ps-ajx|head-1比如说这个查看进程的指令。在进程那篇文章里进程使用。ps-ajx是一个指令，在运行的

HaiFan.·2024-02-02 16:24

学习方法分享

学习一个方向（模块化）的知识，不经意间就会涉及到另一个领域，比如从消息队列存储的顺序读/写，延伸到机械硬盘的结构，如果你不知道机械硬盘的运行原理，你肯定无法理解顺序写的好处。

xwhking·2024-02-02 16:52

Netty服务器+消息队列

文章目录Netty服务器+消息队列一、系统架构图二、搭建netty服务器三、将netty接收到的信息发布到消息队列四、创建消息队列消费者五、将拿到的数据存储到数据库中Netty服务器+消息队列一、系统架构图实现

汪随安·2024-02-02 14:28

Spring Boot中异步线程池@Async

要完成异步操作一般有两种：1、消息队列MQ2、线程池处理。我们来看看Spring框架中如何去使用线程池来完成异步操作，以及分析背后的原理。

也曾眼眸有光·2024-02-02 14:54

RabbitMQ入门

配置文件二、MQ简单模式1.publisher代码2.consumer代码三、总结构建项目的简单步骤总结如下：一、项目搭建1.idea项目搭建java项目创建springboot项目，多模块的方式实现消息队列的发布与消息消费

陈年小趴菜·2024-02-02 13:39

2023-01-04

捞一下消息队列系列前面两章分别讲了消息队列的基础知识，还有比较常见的问题和常见分布式事务解决方案，那么在实际开发过程中,我们使用频率比较高的消息队列中间件有哪些呢？

敲代码的小强·2024-02-02 13:00

【腾讯云中间件】2023年热门文章集锦

在过去的一年里，我们见证了腾讯云中间件在产品升级与创新方面的显著进步，包括消息队列TDMQ品牌全新升级和新产品发布，微服务引擎升级与异地多活单元化能力发布等。

腾讯云中间件·2024-02-02 13:14

kafka

在做平台项目的时候，需要使用kafka去做消息队列去向下位机传送指令来操作下位机。

毛毛的毛毛·2024-02-02 12:27

详解WebRTC rtc::Thread实现

rtc::Thread介绍rtc::Thread类不仅仅实现了线程这个执行器（比如posix底层调用pthread相关接口创建线程，管理线程等），还包括消息队列（message_queue)的实现，rtc

samxfb·2024-02-02 11:01

字节跳动新一代云原生消息队列实践

作者：火山引擎云原生计算研发工程师｜雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下，经典消息队列Kafka的劣势开始逐渐暴露，在弹性、规模、成本及运维方面都无法满足业务需求。

字节跳动云原生计算·2024-02-02 09:53

Kafka 入门

一、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（messageQueue），主要用于大数据实时处理领域。

永恒的狼牙·2024-02-02 08:13

Kafka入门

Kafka入门1.Kafka概述2.Kafka快速入门1.Kafka概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。

Kevin_琪琪·2024-02-02 08:39

【实战系列----消息队列数据缓存】rabbitmq 消息队列搭建和应用

啊湘·2024-02-02 08:44

消息队列介绍与对比

消息队列不是什么新鲜玩意了，网上也是一大堆消息队列的介绍。本文只记录自己消息队列的使用过程，和自己总结的消息队列的对比。消息队列广泛应用主要得益于如下特性：1、非实时性。

hbnn111·2024-02-02 08:41

异步解耦之RabbitMQ(一)

MQ是消息队列（MessageQueue）的简称。消息队列是一种在应用系统之间传递消息的方法，它实现了异步通信的机制，解耦了不同组件或系统之间的直接依赖关系。

Ascend1797·2024-02-02 08:06

Redis简单总结

redis大部分功能是用来做缓存，计数器，排行榜，消息队列，分布式锁；1.缓存：作为缓解数据库读取数据压力，2.计数器：记录浏览量，点赞数redis为什么这么快：1.基于内存操作，2.单线程，避免了线程切换和竞态产生的资源消耗

毛毛的毛毛·2024-02-02 07:29

推荐频道

消息队列&日志处理