消息队列-Kafka

消息队列MQ 介绍

System.out.println(“嗨，大家好，我是代码不会敲的小符，双非大四，Java实习中…”);System.out.println(“如果文章中有错误的地方，恳请大家指正！共同进步，共同成长✊”);System.out.println(“如果文章对您有所帮助，希望您可以三连支持一下博主噢”);System.out.println("正在完成计划中：接下来的三个月里，对梦想的追逐");文
代码不会敲·2024-02-08 19:09

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

消息队列消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。
Kingairy·2024-02-08 18:33

一探究竟，详解Kafka生产者和消费者的工作原理！

主题和日志对于每个主题，Kafka群集都会维护一个分区日志，如下所示：image.png每个分区（Partition）都是有序的(所以每一个Partition内部都是有序的)，不变的记录序列，这些记录连续地附加到结构化的提交日志中
废柴程序员·2024-02-08 17:42

redis基本数据结构介绍

这些数据结构为开发者提供了丰富的数据操作方式，使得Redis在缓存、消息队列、排行榜等场景中有着广泛的应用。1.字符串（Strings）字符串是Redis最基本的数据结构。
一杯可乐、·2024-02-08 17:03

flink消费kafka源

后来一通折腾，发现我当时消费的配置，是用FlinkKafkaConsu
MinaLing·2024-02-08 16:14

通过消息队列实现进程之间通信代码示例

宏定义一个消息大小#defineMSGSIZEsizeof(structmsgbuf)-sizeof(longint)intmain(intargc,constchar*argv[]){//创建key值以便创建消息队列
施纪·2024-02-08 15:23

消息中间件（消息队列）简介

MQ（messagequeue）消息队列，也叫消息中间件。消息队列已经逐渐成为企业IT系统内部通信的核心手段。
xmh-sxh-1314·2024-02-08 15:45

Spring事件发布机制

大家细品，是不是有点消息队列的味
遇见更好的自己、·2024-02-08 14:43

2.5 通过消息队列实现进程之间通信代码示例

宏定义一个消息大小#defineMSGSIZEsizeof(structmsgbuf)-sizeof(longint)intmain(intargc,constchar*argv[]){//1、创建key值以便创建消息队列
Sinbia_Lurika·2024-02-08 13:52

2.Kafka生产过程

三、Kafka生产过程分析1.写入方式producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高
chongweiLin·2024-02-08 12:56

Redis学习笔记-3.慢查询和其他高级数据结构

2.3与原生M操作的对比原生M操作是原子操作pipeline非原子操作2.4使用建议3.发布订阅功能3.1角色3.2通讯模型3.3APIpublishsubscibeunsubcribe其他功能3.4消息队列
天生我才~~·2024-02-08 10:21

Spark streaming batch运行时间过长问题02

继续排查发现，在用Spark读取Kafka数据之后，由于数据通过Kafka读取后是逗号分隔的字符串，但是为了解决字符串某些字段中还有逗号的问题，只能使用正则表达式匹配，导致性能过慢。
kk_io·2024-02-08 10:01

Flink Checkpoint过程

Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理（尚未Checkpoint）如下图，Topic有两个分区，并行度也为2，根据奇偶数我们假设任务从Kafka的某个Topic中读取数据
orange大数据技术探索者·2024-02-08 09:49

Flink Format系列(2)-CSV

Flink的csv格式支持读和写csv格式的数据，只需要指定'format'='csv'，下面以kafka为例。
sf_www·2024-02-08 09:48

storm整合kafka

maven4.0.0storm-kafka-mysqlstorm-kafka-mysql0.0.1-SNAPSHOTjarstorm-kafka-mysqlUTF-8javaxjavaee-api8.0providedorg.glassfish.webjavax.servlet.jsp.jstl1.2.2org.apache.stormstorm-core0.9.5provided
piziyang12138·2024-02-08 09:01

HCIA-HarmonyOS设备开发认证V2.0-3.轻量系统内核基础

(待续)4.3、中断管理(待续)4.4、软件定时器(待续)五、内存管理5.1、静态内存(待续)5.2、动态内存(待续)六、内核通信机制6.1、事件event(待续)6.2、互斥锁Mux(待续)6.3、消息队列
嵌入式底层·2024-02-08 08:41

如何查看kafka的topic的消费者组有没有积压

Kafka自带的命令行工具kafka-consumer-groups.sh来查看消费者组的消费情况，包括是否有积压。具体步骤如下：打开命令行终端，进入Kafka安装目录下的bin文件夹。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

网络|使用 Wireshark 分析 TLS/SSL 协议

背景服务端(3.205)是开启SASL_SSL协议的9094端口的Kafka服务器客户端(77.20)连接9094端口的生产者。
thlzjfefe·2024-02-08 06:29

Install Kafka on Ubuntu 16

0准备模拟生产环境，安装Kafka，需要最少三台机器，如下主机名IPKafka-110.0.0.5Kafka-210.0.0.6Kafka-310.0.0.7Kafka是使用scala编写的运行与jvm
华阳_3bcf·2024-02-08 04:27

消息队列使用的四种场景介绍

一、简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。
Bin哥厉害7·2024-02-08 03:19

阅读《极客时间 | Kafka核心技术与实战》（一）【Kafka入门】

阅读《极客时间|Kafka核心技术与实战》为什么要学习Kafka消息引擎系统ABC一篇文章带你快速搞定Kafka术语我应该选择哪种Kafka？
_蓝天IT_·2024-02-08 01:13

假期day3,三种进程间通信代码实现(2024/2/4)

消息队列#includestructmsgbuf{longmstype;chartext[1024];};#defineSIZE(sizeof(structmsgbuf)-sizeof(long))intmain
明渐·2024-02-08 01:42

2021，Java最全的分布式面试题合集附答案，共2w字！

分布式分为分布式缓存（Redis）、分布式锁（Redis或Zookeeper）、分布式服务（Dubbo或SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka、RabbitMq
码农突围·2024-02-07 21:52

RabbitMQ之七生产集群部署

个人专题目录1.RabbitMQ集群搭建实际生产应用中都会采用消息队列的集群方案,出于MQ中间件本身的可靠性、并发性、吞吐量和消息堆积能力等问题的考虑，在生产环境上一般都会考虑使用RabbitMQ的集群方案
Java及SpringBoot·2024-02-07 21:21

玩转RabbitMq

从消息组件来分类(两类):1.JMS组件:ActiveMq(慢)2.AMQP组件:协议组件(性能高):两个主要的开源项目|-RabbitMq==>速度快(十年加的一款产品)|-Kafka==>大数据时代产物
dreamer_0137·2024-02-07 21:51

SpringBoot集成Kafka

引入Kafka依赖org.springframework.kafkaspring-kafka修改配置文件spring:kafka:bootstrap-servers:127.0.0.1:9092,127.0.0.1
DanceDonkey·2024-02-07 20:41

SpringBoot集成kafka收发消息

传递消息为对象目前springboot整合后的kafka，因为序列化器是StringSerializer，这个时候如果需要传递对象可以有两种方式方式一：可以自定义序列化器，对象类型众多，这种方式通用性不强
慕容潇湘·2024-02-07 20:41

Springboot 集成KafkaAdmin

基础知识点(256条消息)看完这篇Kafka，你也许就会了Kafka_心的步伐的博客-CSDN博客需要注意消费者offset的配置，生产者ackdocker安装kafka和zookeeper记得修改ip
试验者·2024-02-07 20:10

Kafka整理

常用消息中间件对比Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。
瑜骐·2024-02-07 19:08

4、Kafka消费者-从Kafka读取数据

（2）Kafka两种模型提供单一消费者模型：消费者组。消费者用组名标记自己。Topic上消息发给此组中一个消费者。1）所有消费者在一个组中，变成队列。2）不同的组中，变成发布-订阅。
hedgehog1112·2024-02-07 19:04

通过消息队列实现进程之间通信代码

定义一个消息大小#defineMSGSIZEsizeof(structmsgbuf)-sizeof(longint)intmain(intargc,constchar*argv[]){//1、创建key值以便创建消息队列
Huai1230·2024-02-07 13:03

日志收集系统ELK+kafka部署

日志收集系统ELK+kafka部署文章目录日志收集系统ELK+kafka部署一、系统准备1.1部署简介1.2升级内核1.3内核优化1.4安装NTP服务1.5关闭swap分区二、部署ISCSI2.1配置数据网络
MappleZF·2024-02-07 13:47

整合RabbitMQ实现消息异步发送

消息队列中间件消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。
刚满十八工地搬砖·2024-02-07 12:13

【作业day2】

2.消息队列：优点：异步通信，提高系统性能，支持多对多通信。3.信号：优点：轻量级通信，适用于简单的通知机制。4.共享内存：优点：高效，直接访问共享数据，适用于大量数据的高速交换。
唠个锤子·2024-02-07 12:40

2020-11-23

Kafka-server启动报错ERRORProcessorgotuncaughtexception.ERRORProcessorgotuncaughtexception.
北大荒码农·2024-02-07 12:33

【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

文章目录01Flink集成KafkaConnector运行报错02解决方案03原因分析04深入认识4.1flink-connector-base简介概述4.2flink-connector-base功能作用
浅夏的猫·2024-02-07 10:11

【Kafka专栏】windows搭建Kafka环境 & 详细教程（01）

文章目录01引言1.1官网地址1.2概述简介1.3kafka与zookeeper02部署zookeeper2.1下载组件包2.2解压压缩包（1）解压到任意路径（2）解压后的目录创建数据目录data2.3
浅夏的猫·2024-02-07 10:41

【极数系列】Flink集成KafkaSource & 实时消费数据（10）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03连接器使用方法04消息订阅4.1主题订阅4.2正则表达式订阅4.3Partition列分区订阅05消息解析06起始消费位点
浅夏的猫·2024-02-07 10:41

【极数系列】Flink集成KafkaSink & 实时输出数据（11）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03使用方法04序列化器05指标监控06项目源码实战6.1包结构6.2pom.xml依赖6.3配置文件6.4创建sink作业
浅夏的猫·2024-02-07 10:37

牛逼哄哄的消息队列到底有什么用？

在面试大型互联网公司的时候，经常被问到消息队列的三个问题：1、在何种场景下使用了消息中间件？2、为什么要在系统里引入消息中间件？3、如何实现幂等？想解决这些问题？那咱们继续看下看。
Java机械师·2024-02-07 10:13

使用debezuim，实现PG同步Oracle

1.对于bytea类型，debezuim发给kafka的是一个很短的奇怪字符串。使用wal2json直接decode出来的，是完整的数据，但是到了debezuim，就只有很短的字符串了。
howard_shooter·2024-02-07 10:25

Doris中的本地routineload环境，用于开发回归测试用例

----------------2024-2-6-更新--------------doris的routineload，就是从kafka中加载数据到表，特点是定时、周期性的从kafka取数据。
howard_shooter·2024-02-07 10:24

大数据命令，一文在手，全部都有（送纯净版文档）

比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase.....这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下，具体命令会一一介绍。
大数据左右手·2024-02-07 09:35

一篇文章理解 “进程间通信“

一个进程需要向另一个或一组进程发送消息，通知它（它们）发生了某种事件（如进程终止时要通知父进程）进程控制：有些场景下需要一个进程去控制另外一个进程进程间通信的分类管道匿名管道pipe命名管道SystemVIPCsystemV消息队列
高高__·2024-02-07 09:04

ELK日志系统技术架构

问题和挑战：主要配置1.ES集群中所有节点使用虚拟机2.索引按照天生成3.数据节点负责数据的索引4.通过Nginx将用户的检索请求负载在数据节点运行状况部分索引节点负载非常高2.索引速度非常慢，经常出现Kafka
leo_hush·2024-02-07 09:58

spring cloud stream

链接:支持的中间件后文使用kafka测试。
此剑之势丶愈斩愈烈·2024-02-07 08:56

flink soruce详解

flink自定义数据源需要实现SourceFunction，内置的SourceFunction实现类有：SocketTextStreamFunction、FromElementsFunction、FlinkKafkaConsumer
loukey_j·2024-02-07 08:16

RocketMQ消息发送的设计

具体的可查看：RocketMQ的主要组件及其功能在接下来的关于RocketMQ的消息发送的文章中，可以带着几个问题来阅读：1、RocketMQ的消息队列是如何负载的？
NullzzZ·2024-02-07 07:53

一文搞懂Kafka中的listeners配置策略

客户端通过哪个端口连接到kafka，通过9092连接的是什么，broker还是controller？为controller配置了单独的端口有什么用？control.plane.listener
程序饲养员·2024-02-07 07:15
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他