MQ~kafka

【Python系列】中位数计算

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室·2024-09-08 15:24

Windows安装RabbitMQ详细教程

一、RabbitMQ简介RabbitMQ是一个功能强大且易于使用的开源消息代理，它支持多种消息协议（AMQP、STOMP、MQTT等），并提供了一个易用的用户界面来监控和管理消息Broker。
赵亚旭·2024-09-08 13:10

Python爬虫-小某书达人榜单

正文目标：aHR0cHM6Ly9keS5odWl0dW4uY29tL2FwcC8jL2FwcC9kYXNoYm9hcmQ=（注：使用base64自行解码）需求：红薯版-达人榜单打开页面之后，先点
写python的鑫哥·2024-09-08 08:01

RocketMQ 如何保证消息不丢失？

RocketMQ的消息想要确保不丢失，需要生产者、消费者以及Broker的共同努力，缺一不可。
JinYD2018·2024-09-08 07:28

JAVA/数据监控：如何在前端上监听到RabbitMQ发送消息

最近一段时间，炭烧的朋友问我说，公司安排他让他研究一下如何在前端实现对RabbitMQ发送消息的实时监控，而这也涉及到了炭烧的知识盲区，于是炭烧就开始了
JAVA炭烧·2024-09-08 07:27

Kafka、RabbitMQ、RocketMQ 之间的区别是什么

Kafka、RabbitMQ、RocketMQ之间的区别是什么?
m0_67394230·2024-09-08 07:54

Kafka高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解

大家都知道Kafka是将数据存储于磁盘的，而磁盘读写性能往往很差，但Kafka官方测试其数据读写速率能达到600M/s，那么为什么Kafka性能会这么高呢？
大数据学习与分享·2024-09-08 05:12

敏感信息泄露总结_rabbitmq漏洞

/env获取全部环境属性,数据库账户密码泄露，可获取mysql，managodb数据库的用户名和密码/configprops描述配置属性(包含默认值)如何注入Bean/dump获取线程活动的快照/health报告应用程序的健康指标，这些值由HealthIndicator的实现类提供,git项目地址泄露,可获取git项目的地址/info获取应用程序的定制信息，这些信息由info打头的属性提供/map
2301_82056337·2024-09-08 04:37

spring使用@Resource 注入map

spring使用@Resource注入map注入多个Service：/***单笔付款状态MQ消费**@authorzkg*@since2024-09-0616:11:19*/@Slf4j@Component
Java知识技术分享·2024-09-08 04:36

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传
weixin_39793638·2024-09-08 04:34

Spring Boot 2.x实战94 - 事件驱动3 - Kafka与Kafka Streams

3.KafkaApacheKafka以Topic为导向，提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装Kafka使用dockercompose安装ApacheKafka。
汪云飞记录本·2024-09-08 02:50

较完善的rabbitmq消息队列工具类

3消费者重试机制4可靠性投递，最终事务一致原则5消费端限流（服务端限流内存和磁盘配置此处不涉及）rabbitConfig全局配置packageorg.jeecg.boot.starter.rabbitmq.config
BACKWASH2038·2024-09-08 02:18

基于 Kafka 实现分布式事件驱动

事件驱动是一种灵活的系统设计方法，在事件驱动的系统中，当数据发生变化时系统会产生、发布一个对应的事件，其它对这个事件感兴趣的部分会接收到通知，并进行相应的处理。事件驱动设计最大的好处在我看来有两点：一是它为系统提供了很好的扩展能力，比如我们可以对某类事件增加一个订阅者来对系统进行扩展，最主要的是我们并不需要修改任何已有的代码，它完全符合开闭原则；二是它实现了模块间的低偶合，系统间各个部分不是强依赖
weixin_33785972·2024-09-08 02:48

SpringBoot教程（十五） | SpringBoot集成RabbitMq（消息丢失、消息重复、消息顺序、消息顺序）

SpringBoot教程（十五）|SpringBoot集成RabbitMq（消息丢失、消息重复、消息顺序、消息顺序）RabbitMQ常见问题解决方案问题一：消息丢失的解决方案（1）生成者丢失消息丢失的情景解决方案
Slow菜鸟·2024-09-08 01:13

深入剖析 RabbitMQ：架构深度解析、原理细节与关键特性全面掌握

摘要：本文深入探讨了RabbitMQ这一开源消息代理的各个方面，包括其架构设计、工作原理、关键特性如延迟消息、死信队列、高可用性、消费限流、去重策略、消息持久化和事务性操作等。
马丁的代码日记·2024-09-08 01:43

消息队列专题(高级特性篇)：RabbitMQ 如何保证消息的可靠性投递、传输和消费

我们使用RabbitMQ进行消息处理一般都需要保证消息的可靠性，而消息的可靠性又可以根据消息的不同处理阶段分为可靠性投递、传输和消费。
盛夏温暖流年·2024-09-08 00:36

延迟队列。

延迟队列消息进入队列不会被立即消费，过指定时间后再消费其他的消息队列有延迟队列，RabbitMQ没有，但是可以通过使用TTL过期+死信队列达到延迟队列的效果应用场景售后回访，用户购买商品以后，30天给用户发送邮件做一个回访因为不同用户购买时间是不同的
架构小闻闻·2024-09-08 00:03

阿里云Centos服务器调优必看

nr_open1.4临时会话最大文件句柄1.5设置服务的最大文件句柄1.6设置用户的最大文件句柄、最大文件句柄数2Tcp网络优化2.1并发连接优化2.2端口使用范围3这里贴sysctl的增加的配置本文主要用于，MQTT
leafseelight·2024-09-07 23:03

Centos7安装RabbitMQ

文章目录Centos7安装RabbitMQ第一步、安装任何软件包之前，建议使用以下命令更新软件包和存储库第二步、Erlang在默认的YUM存储库中不可用，因此您将需要安装EPEL存储库第三步、RabbitMQ
leafseelight·2024-09-07 23:31

基于Prometheus和Grafana的现代服务器监控体系构建

它不仅提供了多维数据模型和强大的PromQL查询语言，还支持服务发现和HTTP拉取模型。这些特性使得Prometheus特别适合在微服务和
不会代码的小林·2024-09-07 23:00

SpringBoot程序MQ宕机备用方案-多活架构

1.配置文件定义多活选项在配置文件中定义使用MQ还是Redis，确保两者的配置参数都预先准备好。通过Nacos动态配置管理，可以在运行时根据服务状态选择合适的消息中间件。
普照大帝&·2024-09-07 22:51

RabbitMQ 消费端的限流策略（basicQos）

业务场景：高并发情况下，队列里面一瞬间就积累了上万条数据，但是消费者无法同时处理这么多请求，这个时候当我们打开客户端，瞬间就有巨量的信息给推送过来，但是客户端是没有办法同时处理这么多数据的，结果就是消费者（客户端）挂掉了…这种场景下我们就需要对消费端进行限流；限流策略限流策略关键代码：channel.basicQos();例：生产者：//生产者publicclassProducer{private
斯沃福德·2024-09-07 21:13

pyflink 滚动窗口实例

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者
菜鸟社长·2024-09-07 15:31

【Flink】Flink 写入到 CSV BucketingSink 的使用方法

1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的，flink读取kafka数据，然后写入到csv，但是写入的时候，要求写入一个文件，然后在监听到配置文件变化的时候，将写入到另外一个文件
九师兄·2024-09-07 15:00

第五章 Kafka 构建TB级异步消息系统

第五章Kafka构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。·2024-09-07 13:48

kubernetes集群下部署kafka+zookeeper单机部署方案

背景：注：在kubernetes集群上部署单机版的zookeeper+kafka服务，是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn·2024-09-07 12:17

Kafka，构建TB级异步消息系统

：使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.Kafka
Fern977·2024-09-07 12:15

仿论坛项目--Kafka，构建TB级异步消息系统

Kafka入门•Kafka简介Kafka是一个分布式的流媒体平台。
HUT_Tyne265·2024-09-07 12:14

esp32通过NBIoT模块连入MQTT服务器

title:esp32通过NBIoT模块连入MQTT服务器keywords:nbiot,esp32,c++,python,mqtttags:[esp32,c++,python,mqtt,nbiot]categories
发愤图强想做全栈的小陈·2024-09-07 11:07

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka
降世神童·2024-09-07 07:42

Go 使用mqtt

1、创建一个文件夹，并且使用gomodulesgomodinit其中是你的模块名称，如下gomodinitexample.com/myproject2、安装mqtt扩展gogetgithub.com/eclipse
u010373106·2024-09-07 07:40

SpringBoot+Kafka+ELK 完成海量日志收集（超详细）

SpringBoot项目准备引入log4j2替换SpringBoot默认log，demo项目结构如下：pomIndexController测试Controller，用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目，访问/index和/ero接口，可以看到项目中生成了app
2401_83703797·2024-09-07 00:25

rabbitMQ重启

重启rabbitmq服务通过两个命令：rabbitmqctlstop：停止rabbitmqrabbitmq-serverrestart:重启rabbitmq因为rabbitmqctl是没有restart
战血石LoveYY·2024-09-06 23:22

Kafka Broker处于高负载状态（例如消息处理量大或系统资源不足），无法及时响应消费者的请求

Causedby:org.apache.kafka.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity
战族狼魂·2024-09-06 22:42

Kafka 常用的传输和序列化数据方式

Kafka常用的传输和序列化数据方式。不同的方式有不同的优缺点，选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。
傲雪凌霜，松柏长青·2024-09-06 21:38

Redis&MQ

优点：异步、解耦、削峰缺点：系统可用性降低、系统复杂性提高、数据一致性问题引入MQ后，MQ宕机导致业务系统受影响，必须保证MQ的高可用引入MQ后，需要保证消息不丢失，保证不重复消费、消费的幂等性、顺序消费
`Oracle`·2024-09-06 20:35

没有mq服务器怎么发mq 消息,详解ＭＱ消息队列及四大主流ＭＱ的优缺点

异步调用场景二，还是ABCD四个系统，A系统收到一个请求，需要在自己本地写库，还需要往BCD三个系统写库，A系统自己写本地库需要3ms，往其他系统写库相对较慢，B系统200ms，C系统350ms，D系统400ms，这样算起来，整个功能从请求到响应的时间为3ms+200ms+350ms+400ms=953ms，接近一秒，对于用户来说，点个按钮要等这么长时间，基本是无法接受的，侧面也反映出这家研发人员
天天thu·2024-09-06 20:33

对比Eureka和Nacos 的区别 Zuul和Spring Gateway的区别

的区别1.功能差异模块NacosEureka说明注册中心是是服务治理基本功能，负责服务中心注册配置中心是否Eureka需要配合Config实现配置中心，且不提供管理界面动态刷新是否Eureka需要配合MQ
redswallowxu·2024-09-06 20:02

MQ消息队列学习

消息发送上游只需要依赖MQ，逻辑上和物理上都不用依赖其他服务详解参考：https://blog.csdn.net/wqc19920906/article/details/82193316；https:/
lst991120·2024-09-06 20:59

kafka3.7.1 单节点 KRaft部署&测试发送和接收消息

一、环境准备kafka3.7.1包下载地址：https://mirrors.nju.edu.cn/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgzopenjdk11.0.2
运维小弟| srebro.cn·2024-09-06 19:51

Kafka 如何保证消息不丢失

1、生产者1.1丢失原因：kafka生产端异步发送消息后，不管broker是否响应，立即返回，伪代码producer.send(msg)，由于网络抖动，导致消息压根就没有发送到broker端；kafka
阳光倾洒·2024-09-06 15:55

Kafka 如何保证数据不丢失？不重复

1.高可用型配置：acks=all，retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点：这样保证了producer端每发送一条消息都要成功，如果不成功并将消息缓存起来，等异常恢复后再次发送。缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
优秀后端工程师·2024-09-06 15:23

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
夏之以寒·2024-09-06 14:16

java 老生常谈RabbitMQ

深入浅出RabbitMQ：实战使用、理论知识与应用场景在现代的微服务架构中，消息队列扮演着不可或缺的角色，而RabbitMQ作为一个成熟的消息队列解决方案，被广泛应用于各种场景。
精神阿祝·2024-09-06 10:19

RabbitMQ 入门教程

引言RabbitMQ是一个开源的消息代理和队列服务器，实现高级消息队列协议(AMQP)0-9-1。它能帮助开发者构建可靠、可扩展的应用程序，通过消息传递来解耦组件。
寂然如故·2024-09-06 09:43

RabbitMQ 入门教程

介绍RabbitMQ是一个开源的消息代理和队列服务器，实现高级消息队列协议(AMQP)。本教程将引导你完成RabbitMQ的基本设置，并演示如何使用Python来发送和接收消息。
寂然如故·2024-09-06 09:13

如何查看当前的gruop_id 的kafka 消费情况 这个可以查看到是否存在消费阻塞问题

如何查看当前的gruop_id的kafka消费情况这个可以查看到是否存在消费阻塞问题命令如下:/kafka/bin/kafka-consumer-groups.sh--bootstrap-server127.0.0.1
树下水月·2024-09-06 08:02

kafka单机安装

kafka单机安装下载地址官网：https://kafka.apache.org/最新版本下载页面：https://kafka.apache.org/downloads说明版本选择：3.0.0，kafka
shuair·2024-09-06 08:02

Kafka-设计原理

ControllerLeader-PartitionRebalance消息发布机制HW与LEO日志分段ControllerKafka核心总控制器Controller：在Kafka集群中会有一个或者多个broker
姜希成·2024-09-06 07:59

Spark与Kafka进行连接

在Java中使用Spark与Kafka进行连接，你可以使用SparkStreaming来处理实时流数据。以下是一个简单的示例，展示了如何使用SparkStreaming从Kafka读取数据并进行处理。
傲雪凌霜，松柏长青·2024-09-06 07:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他