E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka消息队列
Kafka
2.8.0集群安装教程
Kafka
2.8.0集群安装教程准备工作node01~node04(四个节点机器,三台也可以),
kafka
安装node01~~node03启动zookeeper,这里依次启动node131,node132
请叫我你好
·
2024-09-09 21:48
安装教程
kafka
实时数仓之实时数仓架构(Hudi)(1)
实时数仓架构图如下:技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据
2401_84164527
·
2024-09-09 19:34
程序员
架构
2024年大数据最新实时数仓之实时数仓架构(Hudi)
技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据可以忽略;Flink:用于数据ETL,包括接入数据、处理数据及输出数据全链路数据计算任务
2401_84185556
·
2024-09-09 19:34
程序员
大数据
架构
在ELFK架构中加入
kafka
要进行日志的分析处理,而filebeat至进行日志的收集和发送,处理过程较为简单,所以当日志量非常巨大的时候,logstash会由于处理不及时导致日志或数据的丢失,这时候可以在filebeat和logstash之间加入
kafka
beretxj_
·
2024-09-09 15:31
kafka
分布式
大数据
elk
Kafka
【问题 03】Connection to node -1 ( IP 9092) could not be established(1)
还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!【完整版领取方式在文末!!】93道网络安全面试题需要体系化学习资料的朋友,可以加我V获取:vip204888(备注网络安全
2401_84265972
·
2024-09-09 14:26
2024年程序员学习
网络安全
web安全
面试
redis常见使用场景
文章目录redis常见使用场景全局ID位统计购物车用户消息时间线timeline抽奖商品筛选分布式锁限流redis实现计数器排行榜
消息队列
redis如何实现延时队列redis生产常用的场景redis常见使用场景
思静语
·
2024-09-09 07:41
#
Redis-缓存
redis
缓存
深入探讨 RabbitMQ 的整体架构:消息传递的核心机制
深入探讨RabbitMQ的整体架构:消息传递的核心机制引言在现代分布式系统中,
消息队列
(MessageQueue)是实现异步通信和解耦的重要工具。
需要重新演唱
·
2024-09-09 05:27
rabbitmq
架构
ruby
鸿蒙轻内核M核源码分析系列十三
消息队列
Queue
消息队列
提供了异步
OpenHarmony_小贾
·
2024-09-09 04:20
鸿蒙开发
HarmonyOS
OpenHarmony
移动开发
鸿蒙内核
HarmonyOS
openharmony
鸿蒙开发
消息队列
嵌入式硬件
Kafka
是如何实现高性能的
将写磁盘的过程变为顺序写
Kafka
的整个设计中,Partition相当于一个非常长的数组,而Broker接收到的所有消息顺序写入这个大数组中。
明斯克开源
·
2024-09-09 04:19
Java
经验分享
架构
java
Spring常用中间件
(4)Redis:内存数据结构存储,常用于缓存和
消息队列
。2.
消息队列
(1)RabbitMQ:开源消息代理,支持多种消息协议,适合异步处理。(2)
Kafka
:分布式流处理平台,适合处理大规模数
贺仙姑
·
2024-09-08 23:15
spring
中间件
java
ASP.NET Core
消息队列
RabbitMQ基础入门实战演练
消息队列
RabbitMQ大家相比都不陌生,本次分享课程阿笨将给大家分享一下在一般项目中99%都会用到的
消息队列
MQ的一个实战业务运用场景。
阿笨NET
·
2024-09-08 21:00
跟着阿笨一起玩NET
ASP.NET
Core
ASP.NET
Core消息队列
ASP.NET
Core
RabbitMQ
.NET
Core视频教程
ASP.NET
Core视频课程
ASP.NET Core 入门教学八 集成RocketMQ
消息队列
在ASP.NETCore中集成RocketMQ
消息队列
,你需要遵循以下步骤:1.安装RocketMQ客户端库首先,你需要在你的ASP.NETCore项目中安装RocketMQ的.NET客户端库。
充值内卷
·
2024-09-08 20:55
asp.net
rocketmq
后端
将
消息队列
发送接收端实现一遍。
send.c#includetypedefstructmsgbuf{longmtype;charmtetx[100];}buf;#definezwlensizeof(buf)-sizeof(long)intmain(intargc,constchar*argv[]){key_tkey=ftok("./",'w');//获取密钥if(key==-1){perror("ftok");return-1;
qy3333
·
2024-09-08 20:22
消息队列
单片机
linux
chapter01 Java语言概述 知识点Note
JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE
消息队列
rabbitMQdocker
月下绯烟
·
2024-09-08 18:42
Java
java
开发语言
【Python系列】中位数计算
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-08 15:24
s2
Python
python
开发语言
Kafka
、RabbitMQ、RocketMQ 之间的区别是什么
Kafka
、RabbitMQ、RocketMQ之间的区别是什么?
m0_67394230
·
2024-09-08 07:54
面试
学习路线
阿里巴巴
android
前端
后端
Kafka
高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解
大家都知道
Kafka
是将数据存储于磁盘的,而磁盘读写性能往往很差,但
Kafka
官方测试其数据读写速率能达到600M/s,那么为什么
Kafka
性能会这么高呢?
大数据学习与分享
·
2024-09-08 05:12
Kafka
kafka
大数据
java
pyspark
kafka
mysql_数据平台实践①——Flume+
Kafka
+SparkStreaming(pyspark)
蜻蜓点水Flume——数据采集如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent:包含Source、Channel和Sink的主体,它是这3个组件的载体,是组成Flume的数据节点。Event:Flume数据传输的基本单元。Source:用来接收Event,并将Event批量传
weixin_39793638
·
2024-09-08 04:34
pyspark
kafka
mysql
Java 使用 Redis
它支持多种类型的数据结构,如字符串、列表、集合、散列表等,适用于多种场景,如缓存、
消息队列
等。Java是一种广泛使用的编程语言,因此在Java应用程序中使用Redis成为许多开发者的首选。
wjs2024
·
2024-09-08 03:27
开发语言
Spring Boot 2.x实战94 - 事件驱动3 -
Kafka
与
Kafka
Streams
3.
Kafka
Apache
Kafka
以Topic为导向,提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装
Kafka
使用dockercompose安装Apache
Kafka
。
汪云飞记录本
·
2024-09-08 02:50
Spring
Boot2.x实战全集
spring
boot
kafka
kafka
streams
KafkaListener
较完善的rabbitmq
消息队列
工具类
包含:1生产者补单队列2生产者重试机制3消费者重试机制4可靠性投递,最终事务一致原则5消费端限流(服务端限流内存和磁盘配置此处不涉及)rabbitConfig全局配置packageorg.jeecg.boot.starter.rabbitmq.config;importlombok.extern.slf4j.Slf4j;importorg.springframework.amqp.core.Mes
BACKWASH2038
·
2024-09-08 02:18
消息队列
rabbitmq
分布式
java
基于
Kafka
实现分布式事件驱动
事件驱动是一种灵活的系统设计方法,在事件驱动的系统中,当数据发生变化时系统会产生、发布一个对应的事件,其它对这个事件感兴趣的部分会接收到通知,并进行相应的处理。事件驱动设计最大的好处在我看来有两点:一是它为系统提供了很好的扩展能力,比如我们可以对某类事件增加一个订阅者来对系统进行扩展,最主要的是我们并不需要修改任何已有的代码,它完全符合开闭原则;二是它实现了模块间的低偶合,系统间各个部分不是强依赖
weixin_33785972
·
2024-09-08 02:48
大数据
java
数据库
【事件驱动架构】CloudEvents和
消息队列
的区别
CloudEvents和
消息队列
有以下几点主要区别:消息结构不同
消息队列
中的消息一般就是简单的字符串或字节数组,内容不固定。而CloudEvents定义了一组标准化的消息结构和字段,要求遵循这种规范。
季邦邦
·
2024-09-08 01:44
架构
深入剖析 RabbitMQ:架构深度解析、原理细节与关键特性全面掌握
关键词:RabbitMQ,
消息队列
,分布式系统,延迟消息,死信队列,高可用性,消费限流,消息持久化,事务性操作一、引言在当今复杂的分布式
马丁的代码日记
·
2024-09-08 01:43
开发语言
后端
消息队列
专题(高级特性篇):RabbitMQ 如何保证消息的可靠性投递、传输和消费
消息的可靠性投递1.消息投递模式消息可靠性投递,是指保证生产者能够把消息100%发送到
消息队列
中,生产者Producer为我们提供了两种消息投递模式:Confirm确认模式和Return退回模
盛夏温暖流年
·
2024-09-08 00:36
消息队列
rabbitmq
分布式
java
消息补偿。
消费者监听队列消费,那就万事大吉,但是有很多不可控原因,网络波动,程序异常,等等,导致不是每次都正常投递消费,所以我们要做到消息可靠投递消费,采用消息补偿机制生产者将数据写入到本地数据库生产者投递消息到
消息队列
架构小闻闻
·
2024-09-08 00:34
RabbitMQ
rabbitmq
延迟队列。
延迟队列消息进入队列不会被立即消费,过指定时间后再消费其他的
消息队列
有延迟队列,RabbitMQ没有,但是可以通过使用TTL过期+死信队列达到延迟队列的效果应用场景售后回访,用户购买商品以后,30天给用户发送邮件做一个回访因为不同用户购买时间是不同的
架构小闻闻
·
2024-09-08 00:03
RabbitMQ
rabbitmq
pyflink 滚动窗口实例
写在前头:更多大数据相关精彩内容请进我的知识星球,每周定期更新正篇技术路线:模拟
kafka
生产者发送数据——>flink对
kafka
数据实时计算处理——>处理后的数据发送到
kafka
1、模拟客流数据的生产者
菜鸟社长
·
2024-09-07 15:31
菜鸟的大数据进阶之路
大数据进阶之路
kafka
big
data
python
flink
【Flink】Flink 写入到 CSV BucketingSink 的使用方法
1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的,flink读取
kafka
数据,然后写入到csv,但是写入的时候,要求写入一个文件,然后在监听到配置文件变化的时候,将写入到另外一个文件
九师兄
·
2024-09-07 15:00
大数据-flink
flink
BucketingSink
csv
第五章
Kafka
构建TB级异步消息系统
第五章
Kafka
构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。
·
2024-09-07 13:48
仿牛客社区论坛
kafka
java
分布式
kubernetes集群下部署
kafka
+zookeeper单机部署方案
背景:注:在kubernetes集群上部署单机版的zookeeper+
kafka
服务,是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn
·
2024-09-07 12:17
消息队列服务
kubernetes
kafka
zookeeper
Kafka
,构建TB级异步消息系统
:使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.
Kafka
Fern977
·
2024-09-07 12:15
牛客论坛学习笔记
kafka
java
分布式
仿论坛项目--
Kafka
,构建TB级异步消息系统
Kafka
入门•
Kafka
简介
Kafka
是一个分布式的流媒体平台。
HUT_Tyne265
·
2024-09-07 12:14
kafka
分布式
探索Java中的分布式
消息队列
与事件总线:架构、实现与最佳实践
引言在现代分布式系统中,
消息队列
和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构,还是实时数据处理,
消息队列
和事件总线都扮演着至关重要的角色。
๑҉ 晴天
·
2024-09-07 08:14
分布式
java
分布式
架构
大数据系列 |
Kafka
架构分析及应用
大数据系列|
Kafka
架构分析及应用1.消息系统介绍2.
Kafka
原理分析3.
Kafka
架构分析4.
Kafka
的安装与配置4.1.Zookeeper集群安装配置4.2.安装
Kafka
集群4.3.配置
kafka
降世神童
·
2024-09-07 07:42
大数据技术专栏
大数据
kafka
架构
SpringBoot+
Kafka
+ELK 完成海量日志收集(超详细)
SpringBoot项目准备引入log4j2替换SpringBoot默认log,demo项目结构如下:pomIndexController测试Controller,用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目,访问/index和/ero接口,可以看到项目中生成了app
2401_83703797
·
2024-09-07 00:25
程序员
spring
boot
kafka
elk
Kafka
Broker处于高负载状态(例如消息处理量大或系统资源不足),无法及时响应消费者的请求
Causedby:org.apache.
kafka
.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity
战族狼魂
·
2024-09-06 22:42
消息队列
java
kafka
分布式
Kafka
常用的传输和序列化数据方式
Kafka
常用的传输和序列化数据方式。不同的方式有不同的优缺点,选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。
傲雪凌霜,松柏长青
·
2024-09-06 21:38
后端
大数据
kafka
分布式
Redis&MQ
一、
消息队列
1、
消息队列
的基本作用?1、异步处理2、代码解耦3、流量削峰4、日志处理2、
消息队列
的优缺点有哪些?
`Oracle`
·
2024-09-06 20:35
MQ
redis
rabbitmq
kafka
没有mq服务器怎么发mq 消息,详解MQ
消息队列
及四大主流MQ的优缺点
异步调用场景二,还是ABCD四个系统,A系统收到一个请求,需要在自己本地写库,还需要往BCD三个系统写库,A系统自己写本地库需要3ms,往其他系统写库相对较慢,B系统200ms,C系统350ms,D系统400ms,这样算起来,整个功能从请求到响应的时间为3ms+200ms+350ms+400ms=953ms,接近一秒,对于用户来说,点个按钮要等这么长时间,基本是无法接受的,侧面也反映出这家研发人员
天天thu
·
2024-09-06 20:33
没有mq服务器怎么发mq
消息
Java
消息队列
详解
什么是
消息队列
?
消息队列
是一种通过存储消息来实现系统间通信的中间件。消息生产者将消息发送到队列中,消息消费者从队列中取出并处理消息。
码农刘刘
·
2024-09-06 20:31
java
开发语言
消息队列
MQ
消息队列
学习
1.概念:(messagequeue)一种跨进程的通信机制,用于在上下游之间传递消息。消息发送上游只需要依赖MQ,逻辑上和物理上都不用依赖其他服务详解参考:https://blog.csdn.net/wqc19920906/article/details/82193316;https://blog.csdn.net/u010255818/article/details/778558732.使用场景
lst991120
·
2024-09-06 20:59
消息队列
kafka
3.7.1 单节点 KRaft部署&测试发送和接收消息
一、环境准备
kafka
3.7.1包下载地址:https://mirrors.nju.edu.cn/apache/
kafka
/3.7.1/
kafka
_2.13-3.7.1.tgzopenjdk11.0.2
运维小弟| srebro.cn
·
2024-09-06 19:51
openeuler
kafka
运维
运维
云原生
Redis数据类型简介及使用场景
Redis是一种开源的、基于内存的、数据结构存储的、可以用作数据库、缓存和
消息队列
的NoSQL系统。它提供了多种丰富的数据类型,每种数据类型都有其特定的使用场景和优点。
空青726
·
2024-09-06 16:28
redis
数据库
缓存
跳槽
考研
面试
后端
Kafka
如何保证消息不丢失
1、生产者1.1丢失原因:
kafka
生产端异步发送消息后,不管broker是否响应,立即返回,伪代码producer.send(msg),由于网络抖动,导致消息压根就没有发送到broker端;
kafka
阳光倾洒
·
2024-09-06 15:55
Kafka
kafka
分布式
java
学习
开发语言
Kafka
如何保证数据不丢失?不重复
1.高可用型配置:acks=all,retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点:这样保证了producer端每发送一条消息都要成功,如果不成功并将消息缓存起来,等异常恢复后再次发送。缺点:这样保证了高可用,但是这会导致集群的吞吐量不是很高,因为数据发送到broker之后,leader要将数据同步到fllower上,如果网
优秀后端工程师
·
2024-09-06 15:23
Java程序员
kafka
linq
分布式
【
Kafka
专栏 11】深入理解
Kafka
的网络线程模型:是谁在幕后“操纵”数据流?
作者名称:夏之以寒作者简介:专注于Java和大数据领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:夏之以寒-
kafka
专栏专栏介绍:本专栏旨在以浅显易懂的方式介绍
Kafka
的基本概念、核心组件和使用场景
夏之以寒
·
2024-09-06 14:16
夏之以寒-kafka专栏
kafka
网络
分布式
网络模型
java 老生常谈RabbitMQ
深入浅出RabbitMQ:实战使用、理论知识与应用场景在现代的微服务架构中,
消息队列
扮演着不可或缺的角色,而RabbitMQ作为一个成熟的
消息队列
解决方案,被广泛应用于各种场景。
精神阿祝
·
2024-09-06 10:19
java
java
RabbitMQ 入门教程
引言RabbitMQ是一个开源的消息代理和队列服务器,实现高级
消息队列
协议(AMQP)0-9-1。它能帮助开发者构建可靠、可扩展的应用程序,通过消息传递来解耦组件。
寂然如故
·
2024-09-06 09:43
ruby
开发语言
后端
RabbitMQ 入门教程
介绍RabbitMQ是一个开源的消息代理和队列服务器,实现高级
消息队列
协议(AMQP)。本教程将引导你完成RabbitMQ的基本设置,并演示如何使用Python来发送和接收消息。
寂然如故
·
2024-09-06 09:13
ruby
开发语言
后端
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他