MQ~kafka 第7页

NB-IoT，LoRA，WIFI，蓝牙，Zigbee，MQTT，CoAP之间的关系

概览（从上往下）应用层协议：MQTT、CoAP...网络层、传输协议：IPv4、IPv6、TCP、6LoWPAN、RPL物理层、数据链路层协议：近距离通信：Dash、NFC、Bluetooth、RFID

hanchufeng2020·2024-08-28 10:33

SparkStreaming 如何保证消费Kafka的数据不丢失不重复

目录SparkStreaming接收Kafka数据的方式有两种：Receiver接收数据和采用Direct方式。

K. Bob·2024-08-28 10:02

redis作为缓存，mysql的数据如何与redis进行同步呢？双写一致性

数据可以保持延迟，但是数据最终也是一致性的1.采用了异步处理方法，当有数据更新和插入数据库的时候，放入MQ，顶一个任务监听MQ有数据就进行更新redis缓存2.阿里提供cannal中间件，他是一个个服务

码农汉子·2024-08-28 05:27

kafka(一)Kafka概述

定义Kafka是一个的基于的（MessageQueue），主要应用于大数据实时处理领域。

万事万物·2024-08-27 23:57

kafka常用命令及配置参数详解

kafka常用命令及配置参数详解常用命令1、启动zookeeperbin/zookeeper-server-start.shconfig/zookeeper.properties&2、启动kafkabin

微笑着流浪·2024-08-27 23:19

maxwell读取mysql binlog到kafka

下载地址https://maxwells-daemon.io/解压压缩包tar-zxvfmaxwell-1.29.0.tar.gz-C/opt/module/初始化maxwell元数据库在mysql中为maxwell创建一个数据库复制config.properties.example文件cpconfig.properties.exampleconfig.properties修改config.pro

gengjianchun·2024-08-27 22:18

RocketMQ顺序消费

根据公司项目的一个使用场景，针对实时预警任务，会有同时消费某个设备正常或异常的事件，而这类事件具有时间维度上的先后性，需要符合先进先出（FIFO）原则进行发布和消费，而MQ消费为了吞吐量基本会使用多线程消费

葵续浅笑·2024-08-27 20:35

【成为架构师4-2】解耦：MQ，互联网架构的解耦利器

目录MQ是什么不应该使用MQ的场景典型场景一：数据驱动的依赖任务典型场景二：上游不关心执行结果典型场景三：上游关注执行结果，但是执行时间较长典型场景四：削峰填谷，流量控制，保护下游MQ是什么MQ，消息队列

Nevercome_·2024-08-27 18:18

spark采坑集锦之用kafka作为DStream数据源，并行度问题

在SparkStreaming中作为数据源的Kafka怎样接收多主题发送的数据呢？

方兵兵·2024-08-27 16:41

涨姿势了 SpringBoot+Kafka将实战讲解到极致，你悟了吗？

目录一、环境准备二、生产者实践普通生产者带回调的生产者自定义分区器kafka事务提交三、消费者实践简单消费指定topic、partition、offset消费批量消费监听异常处理器消息过滤器消息转发定时启动

技术布道师·2024-08-27 16:39

Kafka命令详解：从零开始，掌握Kafka集群管理、主题操作与监控的全方位技能，理解每一条命令背后的逻辑与最佳实践

本文主要是关于Kafka的命令详解，每个命令都进行了非常详细的注释，帮助大家能更好的理解这些命令背后的含义，从底层去理解，如果大家喜欢，请多多点赞关注，欢迎评论！

长风清留扬·2024-08-27 16:37

预定义标准常量（ MarketInfo(Symbol(),MODE_…) ）

为了简化程序编写，使程序文本编辑使用起来更加简便，在MQL4中预定义了标准常量。标准常量类似于宏代换，并且是int(整数类型)。这些常量按用途进行分组。

牛在汇上飞·2024-08-27 07:39

java springboot 集成activeMQ（保姆级别教程）

javaspringboot集成activeMQ1.配置信息spring:#配置消息队列activemq:broker-url:tcp://127.0.0.1:61616user:adminpassword

大白菜程序猿·2024-08-27 03:48

关于kafka的分区和消费者之间的关系

消费者和消费者组当生产者向Topic写入消息的速度超过了消费者（consumer）的处理速度，导致大量的消息在Kafka中淤积，此时需要对消费者进行横向伸缩，用多个消费者从同一个主题读取消息，对消息进行分流

窦再兴·2024-08-26 22:48

RabbitMQ消息丢失、积压、重复等解决方案

消息丢失1、只要订单完成我们就会发送一条消息给MQ，这个途中突然MQ服务器网络中断，导致消息无法抵达做好容错方法需要在消息发送前加上异常处理try{rabbitTemplate.convertAndSend

互联网架构小马·2024-08-26 22:13

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群一、Zookeeper集群搭建为保证集群高可用，Zookeeper集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。

数字游牧人0v0·2024-08-26 16:58

zookeeper+KAFKA 集群搭建

因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeer

懵逼的运维弟弟·2024-08-26 16:28

【MQTT协议与IoT通信】MQTT协议的使用和管理

MQTT协议与IoT通信：MQTT协议的使用和管理目录引言MQTT协议概述什么是MQTTMQTT的工作原理MQTT协议的关键特性轻量级与高效性发布/订阅模式质量服务等级(QoS)持久会话安全性MQTT协议的使用方法设置

爱技术的小伙子·2024-08-26 13:38

使用RabbitMQ的延迟消息功能时候，必须注意它的延迟极限是4294967296毫秒

在RabbitMQ中，消息的过期时间必须是非负32位整数，即：0<=n<=2^32-1，以毫秒为单位。其中，2^32-1=4294967295。

莫夏_b560·2024-08-26 13:52

flink 状态参数设置

前提代码示例，通过flink消费kafka，查看list状态中的数据，确定参数的具体含义kafka的代码：发送两个key值，一秒发送一次for(inti=0;isource=KafkaSource.builder

陪你一起捡蛋壳·2024-08-26 13:36

Kafka系列之：删除kafka Topic和元信息

Kafka系列之：删除kafkaTopic和元信息一、kafka删除topic二、删除kafkatopic在zookeeper中的元信息一、kafka删除topic确定不再使用Kafka中的一个主题，最好的使用方式是将其删除

最笨的羊羊·2024-08-26 08:06

Django Channels 实现 websocket 通讯

introduction.htmlChannels改变Django在下面和通过Django的同步核心编织异步代码，允许Django项目不仅处理HTTP，还需要处理需要长时间连接的协议-WebSockets，MQTT

郭大帅·2024-08-26 04:11

代码分层

阿里的java开发手册给出了代码分层的：164852349a8ee9c4.jpg丰富一点：layer.jpg第一层：controller，rpcservice，mq等等轻业务逻辑，这样的话方便业务接口的切换

皮皮鸡很皮·2024-08-25 16:35

rocketmq： broker集群之间的brokerName命名是否可以一致。

今天回顾了下broker与nameserver之间建立连接之后30S一次的心跳测试源码和创建topic过程中broker主动推送topicConfig到Nameserver的源码（实际上心跳测试调用的方法和推送创建topic过程中broker主动推送topicConfig调用的方法是一样的，最终都是调用doRegisterBrokerAll()）。心里有两个疑惑产生：1.我们知道创建一个新的top

飞向天空的鱼·2024-08-25 10:18

【Go - 模式示例 - 5分钟写个生产者/消费者】

生产者与消费者跨进程，需要使用一个消息队列服务，比如rabbitMQ，kafka等来进行通信。考虑多协程，Go中一般不会用线程，而是协程，在多协程的情况下，要考虑同时写，造成写覆盖的情况。废话不多说，

wn531·2024-08-25 06:23

深入理解Kafka消费者偏移量管理：如何确保事件已处理

深入理解Kafka消费者偏移量管理：如何确保事件已处理ApacheKafka是一款流行的分布式流处理平台，用于构建高吞吐量的数据管道和实时应用。

heromps·2024-08-25 00:17

Kafka快速入门：Kafka驱动JavaApi的使用

生产者和消费者是Kafka的核心概念之一，它们在客户端被创建和使用，并且包含了许多与Kafka性能和机制相关的配置。虽然Kafka提供的命令行工具能够执行许多基本操作，但它无法实现所有可能的性能优化。

不止会JS·2024-08-25 00:46

手动修改zk类型的kafka offset

手动修改zk类型的offset:连接到ZooKeeper./zkCli.sh-server..123:2181,.…87.124:2181,1*.*.87.125:2181查找并修改ae_spark这个topic的消费者组的offset值对于每个分区（0、1、2），需要分别查看和修改offset值查看和修改分区0的offset值查看当前offset值：get/consumers/ae_spark/

Keep hunger·2024-08-24 23:45

浅谈Kafka（二）

浅谈Kafka（二）文章目录浅谈Kafka（二）Kafka架构图Kafka生产者幂等性与事务生产者分区写入策略乱序问题消费者组的Reblance机制消费者分区分配策略副本机制分区的leader与followerAR

快乐江小鱼·2024-08-24 23:44

从零到一建设数据中台 - 关键技术汇总

Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark、Flink实时流式计算：Storm/SparkStreaming、Flink批处理消息队列：Kafka

我码玄黄·2024-08-24 12:09

《Apache Kafka 实战》笔记 - 7.5.2 分区重分配

准备环境搭建一个3个节点的集群，然后创建两个测试topic：foo1、foo2，它们都是3个分区，副本因子都是2：bin/kafka-topics.sh--create--zookeeperlocalhost

SlowGO·2024-08-24 12:11

企业中需要哪些告警Rules

rulesNode.rulesprometheus.ruleswebsite.rulespod.rulesvolume.rulesprocess.rules总结企业中需要哪些告警Rules前言Prometheus中的告警规则允许你基于PromQL

云纷纷·2024-08-24 07:37

【编程之路：在 Bug 的迷宫中寻找出口】

Kwan的解忧杂货铺@新空间代码工作室·2024-08-24 07:33

css动画效果（边框流光闪烁阴影效果）

sz_mmbiz_gif/EGZdlrTDJa7odDQYuaatklJUMc5anU10PWLAt14rNnNUD6oHJG9U63fc0yibiapuDViatVk62ma3K63oqQ3U1VtMQ

写代码的大学生·2024-08-24 05:20

RabbitMQ（面试篇）

目录MQ是什么MQ的优点消息队列有什么缺点什么是RabbitMQ？rabbitMQ的使用常见RabbitMQ基本概念大家一起加油！！！

在无清风·2024-08-24 04:40

RabbitMQ高级用法之死信队列

在监听消息消费失败的时候，现在系统的做法都是重推回队列，但是mq消息消费和重推再消费的时间几乎是没有延时的，那么如果有的消息是异常消息时，就会不断的消费→消费失败，推回队列→再消费，这个循环过程每秒可达几千次

半半半山·2024-08-24 02:02

消息中间件：Kafka消息丢失与堆积问题分析与解决方案

消息中间件：Kafka消息丢失与堆积问题分析与解决方案Kafka作为分布式消息系统，广泛应用于实时数据流处理、大数据分析等领域。

upgrador·2024-08-24 02:02

Kafka-之控制器（Controller选举、leader选举）

Kafka-之控制器（控制器选举，leader选举）1控制器是什么，如何选举kafka控制器管理着整个集群中分区以及副本的状态，控制器的选举需要依赖于Zookeeper，在kafka集群启动的时候，会在

稳哥的哥·2024-08-24 02:31

kafka 消费组分区分配策略

一、前提kafka的版本是2.6.2一般我们消费kafka的时候是指定消费组，是不会指定消费组内部消费kafka各个分区的分配策略，但是我们也可以指定消费策略，通过源码发现，我们可以有三种分区策略：RangeAssignor

陪你一起捡蛋壳·2024-08-24 02:00

Kafka基本概念

目录1.生产者2.主题3.分区4.消费者5.消费者组消费者组加入和离开消费者组流程1.消费者加入消费者组2.消费者离开消费者组批处理1.生产者端的批量处理2.消费者端的批量处理Kafka是消息中间件的一种

不止会JS·2024-08-24 02:27

[000-01-022].RabbitMQ学习大纲

我的博客大纲我的后端学习大纲第一步：RabbitMQ是什么：[000-01-022].第01节：什么是MQ[000-01-022].第02节：什么是RabbitMQ第二步：RabbitMQ环境搭建[000

1.01^1000·2024-08-24 01:26

基于RabbitMQ的消息监听器

1.背景机构的新增、更新、删除在微服务A中已经完成了（微服务A已经部署，不能修改代码），如果在微服务A中对机构进行新增、更新、删除操作后，需要同步到自己的微服务B中，这里采用MQ消息通知的方式实现。

cyt涛·2024-08-24 01:55

[000-01-022].第03节：RabbitMQ中的优先级队列

9.2.优先级队列9.2.1.使用场景1在我们系统中有一个订单催付的场景，我们的客户在天猫下的订单,淘宝会及时将订单推送给我们，如果在用户设定的时间内未付款那么就会给用户推送一条短信提醒，很简单的一个功能对吧；2.但是上述情况，tmall商家对我们来说，肯定是要分大客户和小客户的对吧，比如像苹果，小米这样大商家一年起码能给我们创造很大的利润，所以理应当然，他们的订单必须得到优先处理，而曾经我们的后

1.01^1000·2024-08-24 00:52

RabbitMQ的高可用

消费时，如果消费的不是存有数据的节点，RabbitMQ会临时在节点之间进行数据传输，将消息从存有数据的节点传输到消费的节点。

CocoaAndYy·2024-08-23 22:39

CentOS7上安装RabbitMQ

在CentOS7上安装RabbitMQ需要一些步骤，包括安装必要的依赖项、启用RabbitMQ源以及安装RabbitMQ服务器。

宋发元·2024-08-23 21:29

RabbitMQ面试题

一、RabbitMQ如何保证消息的可靠性RabbiMQ如果想要保证消息的可靠性有几种方式可以实现：1、消费端消息可靠性保证：1）.消息确认在消费端可以设置手动ACK模式，手动确认消息是否被正常处理，若存在异常或者未运行

HW--·2024-08-23 20:55

uniapp与设备通信通过mqtt实现通信

MQTT(MessageQueuingTelemetryTransport)协议类型：MQTT是一种轻量级的发布/订阅消息传输协议，通常基于TCP/IP实现。

灰太狼大王灬·2024-08-23 18:10

Spring Boot使用MQTT与硬件设备进行交互

SpringBoot需要与硬件设备进行交互，使用MQTT作为通信协议。

吴思伟·2024-08-23 16:56

Java整合MQTT 控制设备开关

MQTT代码示例风扇示例使用MQTT协议实现对硬件开关的控制，这在物联网（IoT）应用中是非常常见的场景。MQTT是一种轻量级的消息订阅/发布传输协议，非常适合带宽有限和网络不稳定的远程连接场景。