MQ~kafka

Kafka

Kafka是一个高性能的分布式消息队列系统，最初由LinkedIn开发，后来成为Apache软件基金会的一部分。Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。
傲雪凌霜，松柏长青·2024-09-06 07:57

Python 全栈系列266 Kafka服务的Docker搭建

测试也接近了kafka官方标称的性能。考虑到网络、消息的大小等因素，可以简单认为kafka的速度是10万/秒级的。
yukai08008·2024-09-06 06:26

Canal同时监控两个mysql的binlog并同步至一个topic中

准备:安装canal(博主canal版本1.1.5)安装kafka,做接收binlog日志数据用(博主kafka版本2.11)安装两个msyql,相当于两个mysql数据库(博主mysql版本5.1.0
梦见伊兮伊不觉·2024-09-06 00:45

canal-adapter消费Kafka中MySQL的binlog数据，却没有同步更新Elastic search

背景在同步MySQL数据到ES的场景中，选择了canal组件同步数据。问题描述在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml配置文件中sql语句连表查询的时候会出现无法更新Elasticsearch中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。问题分析初步估计是内部解析yml的时候出错了，但具
iiopsd·2024-09-06 00:42

Kafka的事务实现

Kafka的事务Kafka的事务解决的问题和RocketMQ是不太一样的。RocketMQ中的事务，它解决的问题是，确保执行本地事务和发消息这两个操作，要么都成功，要么都失败。
Mirana_77·2024-09-05 15:43

springboot整合kafka

文章目录步骤一：添加依赖项步骤二：配置Kafka步骤三：创建一个生产者步骤四：创建一个消费者本教程将介绍如何在SpringBoot应用程序中使用Kafka。
##明天·2024-09-05 15:42

SpringBoot整合Kafka

安装windows版安装包下载地址：https://kafka.apache.org/downloads下载完毕后得到tgz压缩文件，使用解压缩软件解压缩即可使用，解压后得到如下文件建议使用windows
ITBOY_ITBOX·2024-09-05 15:42

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。
kuuuugua·2024-09-05 15:41

深入理解 Prometheus 数据模型与指标监控

本指南将详细探讨Prometheus的数据模型、指标类型、数据收集机制和查询语言（PromQL），帮助你构建对Prometheus的全面理解
勤劳兔码农·2024-09-05 13:30

kafka消费者重复消费同一个topic

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。
小琳ai·2024-09-05 10:06

2、mysql-canal-zk-kafka-es数据同步

方案总体介绍：通过zookeeper管理canal和kafka集群,zk本身也做集群配置；通过canal作为mysql的从库实时读取binlog，然后将数据以json格式发送到kafka平台，会有一个专门消费
kobe0429·2024-09-05 08:01

物联网平台通信协议之 MQTT 协议

物联网平台通信协议之MQTT协议文章目录物联网平台通信协议之MQTT协议MQTT概述MQTT数据格式MQTT概述MQTT（MessageQueuingTelemetryTransport)，消息队列遥测传输协议
seadog1·2024-09-05 06:44

SpringBoot 集成 kafka，并消费历史事件

SpringBoot集成kafka，并消费历史事件消费历史事件上一篇文章我们讲的是SpringBoot集成kafka消费最新的事件，如果没有看过的小伙伴可以看这篇文章：SpringBoot集成kafka
晚枫2000·2024-09-05 05:39

Kafka

/kafka-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topict1/opt/kafka_2.13-3.1.0/bin
墨咖·2024-09-05 04:58

logstash

kafkainput{kafka{bootstrap_servers=>"127.0.0.1:9092"topics=>["SCHOOL_AQDL"]group_id=>"logstash-group"consumer_threads
墨咖·2024-09-05 03:54

c# 批量mqtt_MQTT（一）C#使用 MQTTnet 快速实现 MQTT 通信（文末有完整Demo下载）

https://blog.csdn.net/panwen1111/article/details/79245161目录MQTT(一)C#使用MQTTnet快速实现MQTT通信(文末有完整Demo下载)MQTT
weixin_39611308·2024-09-05 02:19

【Docker系列】docker缓存详解

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室·2024-09-05 02:45

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

Rabbitmq用户权限配置

b5f8057a1cd5由于账号guest具有所有的操作权限，并且又是默认账号，出于安全因素的考虑，guest用户只能通过localhost登陆使用，并建议修改guest用户的密码以及新建其他账号管理使用rabbitmq
Joshwha·2024-09-04 20:10

SpringBoot 依赖之 Spring for RabbitMQ

在IntelliJIDEA中创建SpringBoot项目并调试SpringforRabbitMQ的完整流程。
ahauedu·2024-09-04 20:40

Sublime text3+python3配置及插件安装

blog.chargingbunk.cn/微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ
raysonfang·2024-09-04 19:23

rocketmq 同步复制，异步复制，同步刷盘，异步刷盘详解

一、刷盘模式同步刷盘：在返回写成功状态时，消息已经被写入磁盘。具体流程是，消息写入内存的PAGECACHE后，立刻通知刷盘线程刷盘，然后等待刷盘完成，刷盘线程执行完成后唤醒等待的线程，返回消息写成功的状态。优点：机器宕机消息也会被保留，缺点：写入速度慢，吞吐量小。异步刷盘：在返回写成功状态时，消息只是被写入了内存的PAGECACHE，这样的好处是写操作的返回快，吞吐量大；当内存里的消息量积累到一定
husterlichf·2024-09-04 16:48

kafka集群搭建

Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。
java皮皮虫·2024-09-04 16:48

springboot集成Kafka

kafka:#kafka的连接地址（注意，是kafka所在服务器的公网ip，不要写成zookeeper的了）bootstrap-servers:localh
Maruko310·2024-09-04 16:48

Kafka学习

1、kafka集群配置①需要提前配置zookeeper环境②配置环境变量，与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb·2024-09-04 16:48

Kafka~Kafka命令行参数使用教程

一、kafka-topics.sh1.参数参数描述–bootstrap-server连接的KafkaBroker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题
飞Link·2024-09-04 15:14

kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException
ab342173024·2024-09-04 15:44

多图详解kafka生产者消息发送过程

:fire:《Kafka运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的集群运维能力
JAVAQXQ·2024-09-04 15:13

kafka ---- producer与broker配置详解以及ack机制详解

一、producer配置1、bootstrap.serverskafkabroker集群的ip列表，格式为：host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf·2024-09-04 15:41

kafka单条消息过大发送失败

一、背景生产环境中使用kafka作为消息队列，生产者发送消息失败，查询报错日志，得到如下输出：Causedby:org.springframework.kafka.KafkaException:Sendfailed
hungteshun·2024-09-04 15:11

AtCoder Beginner Contest 366（D~E题解）

了一下之前放假没打的比赛，感觉需要总结的也就这两题吧，a，c都是水题，b只不过是实现有一点难，并不是很难写，d是一个需要自己推的三维前缀和，e也是一种前缀和，我当时没想到，看了大犇的代码才知道还能这么做D-CuboidSumQuery
new出新对象！·2024-09-04 08:52

ActiveMQ的生产者,消费者事务

activemq的基本的消息发送操作:packagecom.paic.mq;importorg.apache.activemq.ActiveMQConnectionFactory;importjavax.jms
水无痕simon·2024-09-04 07:51

SpringBoot中如何使用RabbitMq

一，RabbitMQ简介和基本概念RabbitMQ是一个开源的消息中间件，基于AMQP（高级消息队列协议）实现。
shenzhenNBA·2024-09-04 07:20

收集网上关于ActiveMQ ,JMS 的入门知识

(注:本文内容来自互联网,大部分内容引用于http://whitesock.javaeye.com/,自己整理以作学习用)JMS基础概念强烈推荐参考:jms规范http://cds-esd.sun.com/ESD4/JSCDL/jms/1.1-fr/jms-1_1-fr-spec.pdf?AuthParam=1251941497_cd0bdf66dcfd87835d5a7b024d2b7ae1&T
leisure55·2024-09-04 07:47

ActiveMQ生产者详解

JMS(ActiveMQ)PTP和PUB/SUB模式实例：[url]http://donald-draper.iteye.com/blog/2347445[/url]ActiveMQ连接工厂、连接详解:
iteye_11587·2024-09-04 07:17

第十二章节 xxjob, seata, zk, minio,activeMQ进行 helm化

要将你提供的Docker命令转换为HelmChart，你需要将相关的配置转化为Kubernetes资源文件，并使用Helm的模板语法进行参数化配置。以下是一个基本的HelmChart示例，包括Deployment、Service和Values.yaml文件。helmcreatexxl-job-admin1.values.yaml这是HelmChart中用于定义默认值的文件。你可以在这里配置镜像、端
Wade_Crab·2024-09-04 07:44

RabbitMQ之旅（一）：AMQP协议是什么

为什么要了解AMQP？最近在学习RabbitMQ消息中间件，而RabbitMQ是AMQP的标准实现。要了解RabbitMQ，必须先了解AMQP协议。
xuweizhen·2024-09-04 06:15

浅谈C# MQTT

一、基本介绍可以使用MQTTnet这个开源库，它提供了MQTT客户端和服务器端的实现，并且支持MQTT协议的多个版本。
CN.LG·2024-09-04 04:54

RabbitMQ和Kafka的区别

架构差异RabbitMQ:基于传统的消息队列架构（AMQP协议）。采用了“消息代理”模式，通常使用交换机（Exchange）、队列（Queue）和绑定（Binding）进行消息路由。
知知之之·2024-09-04 00:35

rabbitmq发送的消息接收不到

1.消息被其他消费者消费2.主要说的2这种情况，就是在延迟队列中，忘记给一个bean加注解导致日志报exchangenotfound.这个报错，进而引发了bindings没有绑定。没有绑定的话，发送消息就会接收不到。
caohuixue_2021·2024-09-04 00:33

二、Prometheus常用exporter安装详解

安装配置2.节点添加3.状态查询二、elasticsearch_exporter1.安装配置2.节点添加3.状态查询三、redis_exporter1.安装配置2.节点添加3.状态查询四、rabbitmq_exporter1
Spring雷·2024-09-03 19:34

RabbitMQ 消息队列详解

RabbitMQ消息队列详解1.前言2.RabbitMQ简介2.1什么是RabbitMQ2.2RabbitMQ的特点3.RabbitMQ核心概念3.1生产者（Producer）3.2消费者（Consumer
拾亿.·2024-09-03 18:25

RabbitMQ 入门教程

概述RabbitMQ是一个开源的消息代理和队列服务器，实现[AMQP0-9-1]标准。本教程将指导你如何使用Python和RabbitMQ进行消息传递。
寂然如故·2024-09-03 17:54

RabbitMQ 入门教程

介绍RabbitMQ是一个开源的消息代理和队列服务器，实现高级消息队列协议(AMQP)。它可以在生产者和消费者之间传递消息，并且可以保证消息的传递。
寂然如故·2024-09-03 17:54

RabbitMQ 入门教程

概述RabbitMQ是一个开源的消息代理和队列服务器，实现了高级消息队列协议(AMQP)。它能够接收、存储和转发消息数据。本教程将引导你完成搭建RabbitMQ环境、编写生产者与消费者程序的过程。
寂然如故·2024-09-03 17:24

rabbitmq 怎么实现延迟消息队列？

Rabbitmq本身是没有延迟队列的，要实现延迟消息，一般有两种方式：1.通过Rabbitmq本身队列的特性来实现，需要使用Rabbitmq的死信交换机（Exchange）和消息的存活时间TTL（TimeToLive
搬砖的小子·2024-09-03 17:53

基于单片机的家居环境监测系统的设计

本设计基于单片机的家居环境监测系统，采用STM32F103C6T6单片机作为主要的控制芯片，环境监测方面采用SHT30模块实现室内温度和湿度的监测；有害气体监测方面，用MQ-7传感器实现室内一氧化碳气体的监测
lantiandianzi·2024-09-03 17:51

MQTT: Keep Alive

KeepAlive时间单位是秒。字段长度为2个字节的short。这个值规定了客户端从发送上一个控制包之后，到发送下一个控制包之间最大的时间间隔。客户端需要确保发送控制包的时间间隔不超过这个值。如果在此时间间隔内，没有其他的控制包需要发送给服务器端，客户端可以发送PINGREQ包。客户端可以在任何时刻发送PINGREQ（不受KeepAlive值的限制）。通过发送PINGREQ可以检测服务器端是否正常
VFSSoft·2024-09-03 11:42

Kafka原理生产过程的几张图解

11.png（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多
一个人一匹马·2024-09-03 11:11

阿里云 物联网平台 MQTT连接、数据传输

阿里云物联网平台MQTT连接、数据传输1、设备连接阿里云2、多设备之前的通信、数据流转3、设备数据来源的读取。
忒可君·2024-09-03 10:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他