MQ~kafka 第16页

openresty+lua+kafka 日志采集

背景：大流量服务收集用户行为日志需求:根据业务把不同的日志发送到不同主题中数据实时性高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua方案采用方案二，原因是nginx高性能，编写代码少

CHENYANG123·2025-01-25 03:50

SpringBoot日常：集成Kafka

文章目录1、pom.xml文件2、application.yml3、生产者配置类4、消费者配置类5、消息订阅6、生产者发送消息7、测试发送消息本章内容主要介绍如何在springboot项目对kafka进行整合

码至终章·2025-01-25 00:31

Kafka 原理深入解析

1.Kafka简介ApacheKafka是一个分布式流处理平台，由LinkedIn开发并于2011年开源，后成为Apache软件基金会的顶级项目。

啥子都不会吖·2025-01-25 00:00

采用普罗米修斯（Prometheus ）监控各个指标的含义，类型，以及格式

可以通过PromQL语句对这些指标进行分析，如：查询当前系统中，访问量前10的HTTP地址：topk(10,http_request

OpenSani·2025-01-25 00:56

分布式微服务系统架构第87集：kafka

Kafka就是为了解决上述问题而设计的一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。

掘金-我是哪吒·2025-01-25 00:55

RabbitMQ-SpringBoot案例 -topic模式

2、消息发送服务packagecom.sky.service.impl;importcom.sky.service.OrderService;importorg.springframework.amqp.rabbit.core.RabbitTemplate

毕竟尹稳健·2025-01-24 23:54

RabbitMQ-SpringBoot 案例

RabbitMQ-SpringBoot案例00、环境搭建1、IDEA创建生产者工程：springboot-rabbitmq-producer2、IDEA创建消费者工程：springboot-rabbitmq-consumer3

路面烧卖·2025-01-24 23:20

RabbitMQ 快速入门——简单队列模式

使用简单模式完成消息传递步骤：创建工程（生产者、消费者）分别添加依赖编写生产者发送消息编写消费者接收消息1.1添加依赖分别在生产者和消费者的pom.xml文件中添加如下依赖：4.0.0org.examplerabbitmq-producer1.0

喵先森爱吃鱼·2025-01-24 22:47

RabbitMQ实战

1.1、作用解耦：在项目启动之初来预测将来会碰到什么需求是极其困难的。消息中间件在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口，这允许你独立地扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束即可冗余〈存储)有些情况下，处理数据的过程会失败。消息中间件可以把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。在把个消息从消息中间件中删除之前

ikt4435·2025-01-24 22:45

LabVIEW实现HTTP通信

HTTP通信原理2、硬件环境部署3、云端环境部署4、HTTP通信函数5、程序架构6、前面板设计7、程序框图设计本专栏以LabVIEW为开发平台，讲解物联网通信组网原理与开发方法，覆盖RS232、TCP、MQTT

不脱发的程序猿·2025-01-24 14:41

电商项目-数据同步解决方案（三）商品上架同步更新ES索引库

一、需求分析和业务逻辑主要应用技术有：Feign远程调用，消息队列-RabbitMQ，分布式搜索引擎-ElasticSearch，Eureka，Canal商品上架将商品的sku列表导入或者更新索引库。

kong7906928·2025-01-24 14:41

Flink之kafka消息解析器2

概要昨天的话题，FlinkSource消费kafka数据自定义反序列化，获取自己想要的数据和类型实现过程publicclassTestWithMetadataDeserializationSchemaimplementsKafkaRecordDeserializationSchema

怎么才能努力学习啊·2025-01-24 14:08

Flink之kafka消费数据

场景：本地构建Flink程序问题描述消费Kafka的数据时，使用Flink新的KakfaSource。

怎么才能努力学习啊·2025-01-24 14:38

RabbitMQ（五）

RabbitMQ（五）分布式微服务技术，模拟面试与解答。Nacos（六）分布式微服务技术，模拟面试与解答。ELK（七）分布式微服务技术，模拟面试与解答。Sky

zxb11c·2025-01-24 11:52

日志收集平台day01：项目设计

二、技术选型环境：CentOs7web服务器：nginx/1.20.1（仅测试使用）消息队列：kafka2.12分布式应用程序协调服务软件：zookeeper3.6.3生产者：filebeat-7.17.5

intqao·2025-01-24 08:51

SpringBoot使用Kafka如何保证消息不丢失

概述在SpringBoot中使用Kafka时，要确保消息不丢失，主要涉及到生产者（Producer）、消费者（Consumer）以及KafkaBroker的配置和设计。

小信丶·2025-01-24 07:17

logback+kafka+ELK实现日志记录（操作）

logback+kafka+ELK实现日志记录前言环境准备配置Logbackpom文件改造新增logback-spring.xmlboot配置文件一下怎么去下载安装我就不多说了，直接上代码。

酷酷的码农小哥·2025-01-24 03:08

Databend 产品月报（2024年8月）

KafkaConnectSinkConnector插件我们推出了一种将Kafka连接到Databend的新方式：databend-kafka-connect，这是一个KafkaConnectsinkconnector

·2025-01-23 17:51

Hadoop 与 Spark：大数据处理的比较

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。

王子良.·2025-01-23 16:50

RabbitMQ消息监听异常问题探究

问题场景在使用SpringRabbitMQ做消息监听时，如果监听程序处理异常了，且未对异常进行捕获，会一直重复接收消息，然后一直抛异常。为了更好的描述问题，下面写个简单的例子。

风树种子·2025-01-23 15:18

开发中使用RabbitMQ的注意事项

使用消息队列处理消息的时候，我们可能会遇到以下问题：消息处理失败消息体本身有误消息重复处理消息丢失对于消息处理失败，有可能有由于网络波动导致的数据处理异常，待网络稳定时消息就会正常处理，对于这种处理失败，我们应该继续尝试去处理消息。消息体本身有误，这会导致消息连续处理失败，占用较多的资源，写大量的无用日志，这种错误应该丢弃这部分无用消息，但要记录下日志，记清消息体本身数据，以及丢弃消息的原因。消息

无德皇叔·2025-01-23 15:45

RabbitMQ系列-异常处理

1.当AcknowledgeMode=AUTO时@Bean(value="myRabbitListenerContainer")publicSimpleMessageListenerContainersimpleMessageListenerContainer(ConnectionFactoryconnectionFactory){SimpleMessageListenerContainercon

M_Joes_18·2025-01-23 14:41

@RabbitListener处理重试机制完成后的异常捕获

application.properties中配置开启手动签收spring.rabbitmq.listener.direct.acknowledge-mode=manualspring.rabbitmq.listener.simple.acknowledge-mode

DanceDonkey·2025-01-23 14:39

RocketMQ介绍与应用场景

文章目录1.RocketMQ介绍1.1RocketMQ介绍1.2MQ的主要应用场景1.3MQ的应用场景举例1、限流削峰1、任务异步处理。

我心向阳iu·2025-01-23 14:06

【檀越剑指大厂--RocketMQ】RocketMQ运维篇

Kwan的解忧杂货铺@新空间代码工作室·2025-01-23 13:34

c#使用Confluent.Kafka实现生产者发送消息至kafka（远程连接kafka发送消息超时的解决 Local：Message timed out）

水一篇：参考：c#使用Confluent.Kafka实现生产者发送消息至kafka（远程连接kafka发送消息超时的解决Local：Messagetimedout）-寒冰之光-博客园该死的Kafka，远程连接

Shinobi_Jack·2025-01-23 12:30

Kafka、ActiveMQ、RabbitMQ、RocketMQ消息队列和消息中间件MQ与RabbitMQ面试题【推荐】

‍Kafka、ActiveMQ、RabbitMQ、RocketMQ消息队列和消息中间件MQ与RabbitMQ面试题【推荐】学习目标（附超链接传送门）❔消息队列前言❔面试官提问：为什么使用消息队列？

王大师王文峰·2025-01-23 12:00

ubuntu安装RabbitMQ

一.RabbitMQ的安装1)首先必须要有Erlang环境支持安装之前要安装一些必要的库：#apt-getinstallbuild-essential#apt-getinstalllibncurses5

xiegongmiao·2025-01-23 12:56

在WSL上安装rabbitmq

WSL在Windows10上安装适用于Linux的Windows子系统(WSL)资源rabbitmq依赖于erlang，所以要先安装erlang，最好不要用apt-getinstall安装，ubantu

小嘿黑15斤·2025-01-23 12:55

【ubuntu】【rabbitmq】ubuntu 安装 rabbitmq

文章目录一、安装erlang二、添加公钥三、更新软件包（可选）四、安装RabbitMQ五、RabbitMQ状态管理六、安装web插件七、远程登录（web端）八、添加自定义VHOST及分配权限一、安装erlang

wecode66·2025-01-23 11:24

Ubuntu安装RabbitMQ环境

Ubuntu安装RabbitＭＱ1、版本兼容问题RabbitMQ基于Erlang运行环境。

feichiraki·2025-01-23 11:20

（表格详细对比）Kafka、ActiveMQ、RabbitMQ、RocketMQ 之间有哪些区别和优缺点

目录面试官：Kafka、ActiveMQ、RabbitMQ、RocketMQ之间的区别有哪些KafkaActiveMQRabbitMQRocketMQ拓展：表格详细对比拓展：表格简单对比该文章专注于面试

小小鱼儿小小林·2025-01-23 07:14

Kafka 入门与应用实战：吞吐量优化与与 RabbitMQ、RocketMQ 的对比

常见的消息队列包括Kafka、RabbitMQ和RocketMQ，其中Kafka因其高吞吐量、分布式特性和可靠性成为大规模数据流处理的首选。

小白的一叶扁舟·2025-01-23 06:36

Spring Boot 集成 RabbitMQ

RabbitMQ作为一款广泛使用的开源消息中间件，具有强大的功能和灵活的配置。而SpringBoot则是一种流行的Java开发框架，能够快速构建应用程序。

一叶飘零_sweeeet·2025-01-22 23:09

C#使用rabbitmq （简单例子）

首先在visualstudio项目里面用nuget工具加入easyNetQDLL然后做一个help类usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSystem.Threading.Tasks;usingEasyNetQ;usingEasyNetQ.Topology;namespa

罗汉松驻扎的工作基地·2025-01-22 23:37

Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案

编辑导读：AutoMQ是一款与ApacheKafka100%完全兼容的新一代Kafka，可以做到至多10倍的成本降低和极速的弹性。

AutoMQ·2025-01-22 23:06

AutoMQ 品牌全新升级

2024年伊始，AutoMQ作为一家专业的消息队列和流存储软件服务供应商，正式发布全新的logo和官网与大家见面！一直以来，我们致力于引领消息和流存储走向云原生时代！

AutoMQ·2025-01-22 23:36

高效消息传递架构：基于 RabbitMQ 与 C# 实现分布式系统的异步通信与解耦

特别是对于需要处理高吞吐量、低延迟和高度可扩展的应用，采用成熟的消息队列中间件如RabbitMQ，可以显著提高系统的可靠性、灵活性和可维护性。

威哥说编程·2025-01-22 22:04

Kafka后台启动命令

/kafka-server-start.sh../config/server.properties>/path/to/logfile.log2>&1&#不保存日志nohup.

费曼乐园·2025-01-22 21:56

RocketMQ源码之消息刷盘分析

在创建CommitLog对象的时候，会初始化刷盘服务：//代码位置：org.apache.rocketmq.store.CommitLogpublicCommitLog(finalDefaultMessageStoredefaultMessageStore

小虾米 ~·2025-01-22 19:40

RocketMQ源码分析之事务消息分析

rocketMQ事务消息原理概述RocketMQ采用两阶段提交（2PC）的思想来实现事务消息，当事务消息失败或者超时，同时采用补偿的方式处理这个问题。

小虾米 ~·2025-01-22 19:09

Kafka 到 Kafka 数据同步

简述Kafka为处理实时数据提供了一个统一、高吞吐、低延迟的平台，其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。

·2025-01-22 16:26

【RabbitMQ 消息丢失常见情况分析】

RabbitMQ消息丢失分析：常见场景与解决策略RabbitMQ作为一种流行的消息队列中间件，广泛应用于各类分布式系统中。它通过发布/订阅模式解耦了生产者和消费者，提高了系统的可扩展性和可靠性。

高飞的Leo·2025-01-22 14:56

Transformer中的注意力机制：从基础概念到高级变体的全面解析

Self-Attention)多头注意力(Multi-HeadAttention)掩码注意力(MaskedAttention)注意力评分函数的类型和特点多头注意力的现代变体：MHA(Multi-HeadAttention)MQA

XianxinMao·2025-01-22 13:48

RabbitMQ-Java-死信队列

这里的描述来自官方：死信交换来自队列的消息可以是“死信”；也就是说，当发生以下任何事件时，重新发布到交易所：消费者使用basic.reject或basic.nack否定确认消息，并将requeue参数设置为false。消息由于每条消息的TTL而过期消息被丢弃，因为它的队列超过了长度限制请注意，队列到期不会死信其中的消息。死信交换(DLX)是正常的交换。它们可以是任何常用类型，并像往常一样声明。对于

孤竹君的小娘子·2025-01-22 13:16

利用百度物联网MQTT平台远程在线聊天室的实现，使用自带GUI，并通过Pyinstaller进行exe打包

一、项目简介XIBI（随便取的）是一个简单的聊天工具，通过MQTT协议实现消息的发布和订阅。你可以通过它和连接到同一个MQTT服务器的其他小伙伴聊天。

wss2210·2025-01-22 12:13

kafka和mq的区别

作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强，而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计

xsmxh-1314·2025-01-22 07:33

kafka学习笔记4-TLS加密 —— 筑梦之路

1.准备证书文件mkdir/opt/kafka/pkicd!

筑梦之路·2025-01-22 06:59

kafka学习笔记6 ACL权限 —— 筑梦之路

在Kafka中，ACL（AccessControlList）是用来控制谁可以访问Kafka资源（如主题、消费者组等）的权限机制。