E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
消息队列【kafka】
消息队列
和
Kafka
1.
消息队列
:将需要发送的数据存放在队列中2.
消息队列
中间件:存储消息的组件(软件),如
Kafka
、RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ3.
Kafka
应用场景:异步处理系统解耦流量削峰
一路向北看星晴
·
2024-02-02 07:47
java
Flink 实时写入数据到 ElasticSearch 性能调优
背景说明线上业务反应使用Flink消费上游
kafka
topic里的轨迹数据出现backpressure,数据积压严重。单次bulk的写入量为:3000/50mb/30s,并行度为48。
zhisheng_blog
·
2024-02-02 06:45
JAVA操作Rabbitmq-原理讲的很详细
常见的
消息队列
很多,主要包括RabbitMQ、
Kafka
、RocketMQ和ActiveMQ,相关的选型可以看我之前的系列,这篇文章只讲RabbitMQ,先讲原理,后搞实战。
hjc_042043
·
2024-02-02 06:41
MQ系列
Java相关
java-rabbitmq
java
rabbitmq
消息队列
的应用场景
消息队列
的应用场景
消息队列
中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构使用较多的
消息队列
有ActiveMQ,RabbitMQ,ZeroMQ
hjc_042043
·
2024-02-02 06:10
MQ系列
MQ队列
消息模型与生成pdf
今日内容消息中间件RabbitMQ五种消息模型SpringAMQP生产pdfJaspersoftStudio第一章消息中间件(面试)
消息队列
中间件是分布式系统中重要的组件,主要解决异步消息,应用解耦,流量削峰等问题
Mr.YHL
·
2024-02-02 06:20
队列
rabbitmq
java
中间件
大数据
消息中间件特性
一:
消息队列
的主要作用是什么?
xmh-sxh-1314
·
2024-02-02 05:00
java
怎样才是优秀的程序员?
linux、mysql、redis、
kafka
、netty.学习系统性地学习,而不止于碎片知识。善于向优秀的人学习~每解决一个问题,就多进步一点点。知其然,还知其所以然。看书,看官方文档,阅读源码。
乐之者v
·
2024-02-02 03:06
工作-软技能
职场和发展
替代ELK:ClickHouse+
Kafka
+FlieBeat,才是最佳选择?
背景SaaS服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力,帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中,如果直接部署一套大数据体系,对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。EasticsearchvsClickhouseClickHouse是一款高
LinkSLA
·
2024-02-02 01:44
elk
clickhouse
kafka
RabbitMQ(008 集群)
动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第58p-第p65的内容集群介绍数据库的元数据:字段名称类型长度小数点这些
消息队列
的元数据:交换机名称队列名称绑定
wang_book
·
2024-02-02 00:46
rabbitMQ
rabbitmq
分布式
京东技术负责人纯手写:小团队构建大网站中小研发团队架构实战
本书共5篇22章,开篇是本书的导读;架构篇是设计思想的提升,包括企业总体架构、应用架构设计、统--应用分层等;框架篇主讲中间件和工具的使用,包括
消息队列
、缓存、Job、集中式日志、应用监控和微服务等:公共应用篇是技术与业务的结合
Java爱好者
·
2024-02-01 23:07
Redis 5.0 Streams类型简介
从功能层面来讲,Streams加上它的指令实现了一个完备的分布式
消息队列
。
空挡
·
2024-02-01 21:34
SpringBoot使用Rabbit详解含完整代码
1.摘要本文将详细介绍如何在SpringBoot应用程序中集成和使用RabbitMQ
消息队列
。
孤蓬&听雨
·
2024-02-01 20:44
知识库
spring
boot
后端
rabbitMQ
MQ
阿里云中间件开源往事
在分布式架构流行前,国外IT厂商引领着中间件市场的发展,且以闭源、重商业的服务形式为主;随着云计算和互联网的普及,阿里将RPC框架、
消息队列
、服务发现、配置中心、分布式事务、限流降级等核心应用中间件技术对外开源
阿里巴巴中间件
·
2024-02-01 19:30
中间件
阿里云
云计算
开源
消息队列
之RabbitMQ
消息队列
之RabbitMQ:一、准备知识:把数据放到
消息队列
叫做生产者从
消息队列
里取数据叫做消费者
消息队列
主要实现的功能:a.异步:批量数据的异步处理b.解耦:串行任务的并行化我的理解:将原先直接关联的系统
五月高高
·
2024-02-01 17:05
消息队列
Kafka
运维相关知识
目录一、基本概念二、技术特性三、设计思想四、运维建议一、基本概念Apache
kafka
是一个分布式的基于push-subscribe的消息系统,它具备快速、可扩展、可持久化的特点。
全脂主妇
·
2024-02-01 17:31
消息组件
kafka
分布式
【Linux】进程通信——共享内存+
消息队列
+信号量
的博客博客主页:折纸花满衣个人专栏:题目解析推荐文章:【LeetCode】wintervacationtraining目录共享内存关于共享内存的接口函数ipcs命令ipcrm命令共享内存实现进程间通信代码示例
消息队列
概念进程之间的
消息队列
通信信号量
cefler
·
2024-02-01 17:54
Linux
linux
共享内存
消息队列
信号量
Redis Stream
消息队列
的简单应用
RedisStream
消息队列
的简单应用文章目录RedisStream
消息队列
的简单应用目标RedisStream基础概念介绍基本数据结构Stream基础EntryIDs从Stream获取数据范围查询:
CodeSerial
·
2024-02-01 17:53
后端
java
redis
redis
redis
stream
redis实现消息队列
java
操作stream
XTREAM
基于redis stream + spring boot的
消息队列
机制简单实现
基于redisstream+springboot的
消息队列
机制简单实现1.通知结构整体设计2.流程解析在各个不同的功能点都可能触发消息通知,借助LxNoticeStreamUtil#addNoticeMessage
CodeSerial
·
2024-02-01 17:53
redis
后端
Spring
spring
boot
redis
stream
Lettuce
消息队列
设计模式
SpringBoot 集成Redis PubSub发布订阅/Stream
消息队列
本文不讨论那些专业的
消息队列
,只对Redis的两种
消息队列
的应用进行论述1、集成Redis-PubSub发布订阅Redis提供一种基于“发布/订阅”的消息机制,也称“广播模式”,发布者往指定的频道(channel
还有谁叫于果
·
2024-02-01 17:21
redis
mq
spring
boot
redis
redis stream结合springboot构造简单
消息队列
它使本次5.x版本迭代中,Redis作为
消息队列
使用时,得到更完善,更强大的原生支持,其中尤为明显的是持久化
消息队列
。
jsl小时光
·
2024-02-01 17:50
redis
redis
spring
boot
数据库
mq
消息队列
金融支付系统的
消息队列
与事件驱动架构
1.背景介绍金融支付系统的
消息队列
与事件驱动架构1.背景介绍金融支付系统是现代金融业的核心组成部分,它涉及到大量的交易、数据处理和实时通信。
OpenChat
·
2024-02-01 16:03
金融
架构
重写代码实现Flink连接Redis集群(Java版,解决Flink无法连接私有IP Redis集群问题)
1缘起团队需要使用实时数据(小时级别)给业务系统使用,数据流向是这样:实时数据-》
Kafka
-》Flink-》Redis(集群和哨兵),可是,Flink原生并不支持Redis连接,于是,有第三方提供连接工具
天然玩家
·
2024-02-01 15:04
#
Flink
实践大数据
java
flink
redis
Flink消费
kafka
写入hive,报错GC
报错信息Flink消费
kafka
写入hive,报错GC。Taskmanager内存加到16GB。不起作用。
dgbcf
·
2024-02-01 15:55
hive
大数据
hadoop
flink
Flink 读取
Kafka
消息写入 Hudi 表无报错但没有写入任何记录的解决方法
本问题发生的场景是:使用
Kafka
Connect的DebeziumMySQLSour
Laurence
·
2024-02-01 15:24
大数据专题
付费专栏
flink
hudi
kafka
无数据
无写入
streaming
✅Redis-管道技术
Redis作为一种高性能的键值存储数据库,被广泛应用于缓存、会话存储、
消息队列
等场景。在处理大量请求时,性能是Redis最为关注的问题之一。
@泡泡糖
·
2024-02-01 14:19
技术派项目-技术笔记
redis
redis
数据库
缓存
Android-33源码分析: Handler消息机制
的声明:ActivityThread管理应用进程中主线程的执行,根据AMS调度执行广播和其他操作Handler发送消息并处理消息MessageQueue用于存放消息的
消息队列
Looper循环
消息队列
中的消息循环器
CHNE_TAO_EMSM
·
2024-02-01 14:10
android
Kafka
下载安装及基本使用
目录
Kafka
介绍
消息队列
的作用
消息队列
的优势应用解耦异步提速削峰填谷为什么要用
Kafka
Kafka
下载安装
Kafka
快速上手(单机体验)1.启动zookeeper服务2.启动
kafka
服务3.简单收发消息
山鸟与鱼!
·
2024-02-01 13:15
分布式中间件
kafka
分布式
java
后端
Cloudera Manager开启
kafka
JMX监控
在ClouderaManager上创建了3节点的
kafka
集群服务,想要外部连接
kafka
JMX监控kakfa数据,需要修改kakfa配置:-Dcom.sun.management.jmxremote.host
Troyong
·
2024-02-01 13:28
Kafka
kafka
jmx
cloudera
利用 Cloudera Manager下安装
kafka
文章目录前言一、基于CDH版本选择安装1.1基于CDH版本选择安装1.2选择依赖项1.3角色分配1.4设置
Kafka
Broker配置1.5查看命令详请1.6安装概要1.7主页查看/启动前言本文章是是利用
914 JJ
·
2024-02-01 13:28
KAFKA
kafka
大数据
cloudera
使用Cloudera Manager部署
Kafka
消息队列
一.下载需要安装的
Kafka
版本1.查看ClouderaDistributionofApache
Kafka
(简称CDK)版本CDK版本链接地址:https://www.cloudera.com/documentation
至尊宝l
·
2024-02-01 13:27
Cloudera
Manager
kafka
cloudera
分布式
Cloudera Manager 安装
Kafka
并简单使用
Kafka
简介
kafka
是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。
Kafka
是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。
大数据AI
·
2024-02-01 13:25
大数据从入门到精通
cloudera
kafka
大数据
转转基于MQ的分布式重试框架设计方案
文章目录1背景2方案3效果4可选项5注意事项6总结1背景在分布式场景下,为了保障系统的可用性和数据的最终一致性,采用基于
消息队列
(MQ)的重试机制是一种常见的解决方案。
转转技术团队
·
2024-02-01 12:11
分布式
c#
开发语言
Kafka
生产者缓存
不建议使用:publicvoidproduce(Stringmessage){DmsProducerproducer=newDmsProducer();try{producer.produce("test1",0,"key",message);}finally{producer.close();}}原因:每次调用produce函数时,都会新建一个producer,每次都需要进行新建与broker连
沉默终止
·
2024-02-01 11:00
kafka
缓存
spring
KAFKA
鉴权设计以及相关探讨
文章目录1.
kafka
的鉴权设计2.
kafka
鉴权应用范围3.
kafka
鉴权的常用方法3.1SASL/GSSAPI3.2SASL/PLAIN3.2.1配置jaas3.2.2配置服务启动参数3.2.3配置
李姓门徒
·
2024-02-01 11:00
分布式
Kafka
大数据
kafka
分布式
大数据
利用
Kafka
实现延迟队列实践
利用
Kafka
实现延迟队列实践一、RocketMq二、
kafka
实践三、
kafka
实践+四、更多一、RocketMq阿里提供的RocketMq消息中间件是天然支持消息先延迟队列功能的,主要原理和实现方法可以参加以下链接
加权不下平权
·
2024-02-01 11:59
最佳实践
kafka
java
分布式
Kafka
如何实现延迟队列?
Kafka
并没有使⽤JDK⾃带的Timer或者DelayQueue来实现延迟的功能,⽽是基于时间轮自定义了⼀个⽤于实现延迟功能的定时器(SystemTimer)。
图图是个好孩纸~
·
2024-02-01 11:57
#
消息队列
kafka
java
分布式
Kafka
延迟队列的实现方式
Apache
Kafka
是一个高性能、可扩展的分布式
消息队列
,可以作为延迟队列的基础设施。本文将介绍如何使用
Kafka
实现延迟队列,并提供详细的Java示例。什么是延迟队列?
一叶飘零_sweeeet
·
2024-02-01 11:26
java
kafka
分布式
消息队列
kafka
实现延迟队列
前言首先说一下延迟队列这个东西,实际上实现他的方法有很多,
kafka
实现并不是一个最好的选择,例如redis的zset可以实现,rocketmq天然的可以实现,rabbitmq也可以实现。
走,我们去吹风
·
2024-02-01 11:55
kafka
分布式
golang
开发语言
后端
面试
confluent入库hive安全认证问题
使用confluent将
Kafka
中的数据入库hive失败的解决方案应用场景:用户想在HD平台使用confluent开源组件将
Kafka
中的数据直接导入到hive中,测试环境中已经实现,但生产环境中由于平台开启了
建康_木子
·
2024-02-01 10:08
【Redis】理论基础 - 概览
文章目录1.定义2.主要特性1)内存存储2)数据结构多样性3)持久化4)主从复制5)事务支持3.使用场景1)缓存2)
消息队列
3)实时统计与计数4)分布式锁总结Redis(RemoteDictionaryServer
好久不见的流星
·
2024-02-01 10:38
Reids
redis
数据库
缓存
【万字长文】带你搞懂
Kafka
中的所有知识点
目录概述主题和分区日志消息压缩日志分段条件日志清理多副本写入流程生产者必要参数配置消息的发送流程元数据更新重要的生产者参数消费者消费者组分区分配策略协调器重平衡触发方式流程如何避免rebalance位移提交消费者offset的存储broker集群控制器事务消息保障传输幂等性事务概述Apache
Kafka
1_5_2_
·
2024-02-01 09:46
Kafka
kafka
分布式
数据结构
18、
Kafka
------ SpringBoot 整合
Kafka
流API(演示发送到test1主题的消息,被导流到 test2主题,通过监听器看是否导流成功)
目录SpringBoot整合
Kafka
流API流API的支持配置属性分析为流配置应用程序id配置流API使用@Enable
Kafka
Streams效果演示完整代码1、application.properties
_L_J_H_
·
2024-02-01 09:42
#
Kafka
系列
kafka
spring
boot
linq
17、
Kafka
------ SpringBoot 整合
Kafka
发送 和 接收消息(使用
Kafka
Template 发送消息 和 使用 @
Kafka
Listener 修饰监听器来接收消息)
目录SpringBoot整合
Kafka
发送和接收消息使用
Kafka
Template发送消息1、配置自动创建主题(代码)2、发送消息(代码)1、controller2、service3、演示1、启动应用程序
_L_J_H_
·
2024-02-01 09:11
#
Kafka
系列
kafka
spring
boot
分布式
7000字详解Spring Boot项目集成RabbitMQ实战以及坑点分析
本文给大家介绍一下在SpringBoot项目中如何集成
消息队列
RabbitMQ,包含对RibbitMQ的架构介绍、应用场景、坑点解析以及代码实战。
液态不合群
·
2024-02-01 08:17
java-rabbitmq
spring
boot
rabbitmq
实验3:利用Linux的
消息队列
通信机制实现三个线程间的通信
调用原型POSIX信号量–无名信号量POSIX信号量是Pthread线程库提供的一种同步机制,包括无名信号量和有名信号量两种机制。无名信号量,常用于多线程间的同步,也可用于相关进程间的同步(需置于相关进程间的共享内存区中)。有名信号量通过IPC名字进行进程间的同步,特点是把信号量保存在文件中,可用于线程、相关进程和不相关进程间的同步。#includeintsem_init(sem_t*sem,in
哇哇哇哇池
·
2024-02-01 08:40
操作系统实践
hdu
linux
运维
服务器
go mysql transfer_go-mysql-transfer
特性1、简单,不依赖其它组件,一键部署2、集成多种接收端,如:Redis、MongoDB、Elasticsearch、RocketMQ、
Kafka
、Ra
廖宝华
·
2024-02-01 08:40
go
mysql
transfer
k8s Sidecar filebeat 收集容器中的trace日志和app日志
目录一、背景二、设计三、具体实现Filebeat配置K8SSideCaryamlLogstash配置一、背景将容器中服务的trace日志和应用日志收集到
KAFKA
,需要注意的是trace日志和app日志需要存放在同一个
Cloud孙文波
·
2024-02-01 08:33
kubernetes
kubernetes
容器
云原生
RabbitMQ 死信队列应用
1.概念死信队列(DeadLetterQueue)是在
消息队列
系统中的一种特殊队列,用于存储无法被消费的消息。消息可能会因为多种原因变成“死信”,例如消息过期、消息被拒绝、
消息队列
长度超过限制等。
lolitaline
·
2024-02-01 07:11
springboot
rabbitmq
消息中间件(MQ)对比:RabbitMQ、
Kafka
、ActiveMQ 和 RocketMQ
RabbitMQ、
Kafka
、ActiveMQ和RocketMQ是当前流行的消息中间件之一,它们各自具有独特的特点和适用场景。本文将对这四种消息中间件进行综合比较,帮助您在项目中作出明智的选择。
CodeArtisanX
·
2024-02-01 07:07
rabbitmq
kafka
activemq
KAFKA
监控方法以及核心指标
文章目录1.监控指标采集1.1部署
kafka
_exporter1.2prometheus采集
kafka
_exporter的暴露指标1.3promethues配置告警规则或者配置grafana大盘2.核心告警指标
李姓门徒
·
2024-02-01 07:23
分布式
Kafka
大数据
kafka
分布式
大数据
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他