E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式消息队列
消息队列(三)
例如:滴滴开源基于RocketMQ的
分布式消息队列
DDMQ,有赞NSQ。为了
阿阿阿黄
·
2020-08-24 16:14
nsq
消息队列
Kafka的数据是如何存储的
Kafka这款
分布式消息队列
使用文件系统和操作系统的页缓存(pagecache)分别存储和缓存消息,摒弃了Java的堆缓存机制,同时将随机写操作改为顺序写,再结合Zero-Copy的特性极大地改善了IO
hankl1990
·
2020-08-24 06:46
kafka
kafka
进阶
大型网站架构系列:
分布式消息队列
以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。本次分享大纲消息队列概述消息队列应用场景消息中间件示例JMS消息服务常用消息队列参考(推荐)资料本次分享总结一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产
老男孩_Misaya
·
2020-08-23 17:26
SpringBoot开发案例之整合Kafka实现消息队列
前言最近在做一款秒杀的案例,涉及到了同步锁、数据库锁、分布式锁、进程内队列以及
分布式消息队列
,这里对SpringBoot集成Kafka实现消息队列做一个简单的记录。
starGoLine
·
2020-08-23 00:46
学习
Nsq 原理分析(一)
Nsq是用go语言开发的轻量级的
分布式消息队列
,适合小型项目使用、用来学习消息队列实现原理、学习golangchannel知识以及如何用go来写分布式,为什么说适合小型小型项目使用因为,nsq如果没有能力进行二次开发的情况存在的问题还是很多的
朱伟
·
2020-08-22 15:51
golang
nsq
原理
消息中间件—简谈Kafka中的NIO网络通信模型
网络通信模型前面写的两篇RocketMQ源码研究笔记系列:(1)消息中间件—RocketMQ的RPC通信(一)(2)消息中间件—RocketMQ的RPC通信(二)基本上已经较为详细地将RocketMQ这款
分布式消息队列
的
癫狂侠
·
2020-08-22 11:06
大数据实时流统计实战
1b1a07091acc4efd9a390f28db332f86SparkStreaming实时流处理项目实战,是以爱奇艺视频实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、
分布式消息队列
zhaorui2017
·
2020-08-21 23:43
Spark
kafka
Spark
elk
大数据
RocketMQ源码解析(十二)-顺序消息
什么是顺序消息顺序消息是RocketMQ相对于其它
分布式消息队列
方案一个很有特色的特性。
空挡
·
2020-08-21 09:56
5 项大奖,70 项满分!阿里云全方位引领云原生技术升级
阿里云原生在容器平台安全能力、函数及服务、
分布式消息队列
服务、可信云服务最佳实践(服务云)、可信云技术最佳实践(容器及管理)等评选中获得可信云认证!
阿里巴巴云原生
·
2020-08-21 04:19
容器
kubernetes
serverless
分布式
"分布式事务"解决方案汇总 -- 2PC/TCC/事务消息/1PC
之前我也写过一篇分布式事务的文章《
分布式消息队列
RocketMQ–事务消息–解决分布式事务的最佳实践》,里面主要讲了“事务消息”这1种解决方案的2种实现方式。
linuxheik
·
2020-08-21 00:10
2PC和3PC
RocketMQ源码解析(十三)-事务消息
分布式消息队列
多用来解决多个微服务之间的调用解耦,不会因为单个服务的服务质量问题而影响其它业务。
空挡
·
2020-08-19 23:44
基于Docker搭建
分布式消息队列
Kafka
本文基于Docker搭建一套单节点的Kafka消息队列,Kafka依赖Zookeeper为其管理集群信息,虽然本例不涉及集群,但是该有的组件都还是会有,典型的kafka分布式架构如下图所示。本例搭建的示例包含Zookeeper+Kafka+Kafka-mangermark获取镜像zookeeper镜像:zookeeper:3.4.9kafka镜像:wurstmeister/kafka:0.10.2
半夜菊花茶
·
2020-08-19 17:24
分布式消息队列
Kafka学习笔记
Kafka概述adistributedstreamingplatformKafka架构和核心概念producer,生产者,生产馒头。consumer,消费者,吃馒头。broker,篮子。topic,主题,给馒头带一个标签,topica的馒头是给你吃的,topicb的馒头是给你弟弟吃。Zookeeper集群部署安装包解压,tar-xzvfzookeeper-3.4.5.tar.gz-C/export
padluo
·
2020-08-19 07:17
5 项大奖,70 项满分!阿里云全方位引领云原生技术升级
阿里云原生在容器平台安全能力、函数及服务、
分布式消息队列
服务、可信云服务最佳实践(服务云)、可信云技术最佳实践(容器及管理)等评选中获得可信云认证!
阿里巴巴云原生
·
2020-08-19 06:48
基于Redis实现
分布式消息队列
(4)
1、访问Redis的工具类publicclassRedisManager{privatestaticPoolpool;protectedfinalstaticLoggerlogger=Logger.getLogger(RedisManager.class);static{try{init();}catch(Exceptione){e.printStackTrace();}}publicstatic
stationxp
·
2020-08-18 16:59
碎碎念
redis
代码
分布式
任务
队列
基于Redis实现
分布式消息队列
(2)
1、消息队列需提供哪些功能?在功能设计上,我崇尚奥卡姆剃刀法则。对于消息队列,只需要两个方法:生产和消费。具体的业务场景是任务队列,代码设计如下:publicabstractclassTaskQueue{privatefinalStringname;publicStringgetName(){returnthis.name;}publicabstractvoidaddTask(Serializab
stationxp
·
2020-08-18 16:59
碎碎念
springboot2.x+kafka实现消息发送与消费
Kafka是一个
分布式消息队列
。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kaf
被java耽误的愤青
·
2020-08-18 12:45
SpringBoot
Apache Kafka
分布式消息队列
中间件安装与配置
本文地址:http://blog.csdn.net/wangjia184/article/details/37921183本文演示从1个zookeeper+1个kafkabroker到3个zookeeper+2个kafkabroker集群的配置过程。kafka依赖于zookeeper,首先下载zookeeper和kafka$wgethttp://mirrors.hust.edu.cn/apache
CodeProject-Jerry
·
2020-08-18 12:57
分布式计算
Kafka JAVA客户端代码示例
介绍http://kafka.apache.orgkafka是一种高吞吐量的分布式发布订阅消息系统kafka是linkedin用于日志处理的
分布式消息队列
,linkedin的日志数据容量大,但对可靠性要求不高
IT老男人
·
2020-08-18 11:07
kafka
分布式消息队列
详解
原文:http://www.cnblogs.com/itfly8/p/5155983.html大型网站架构之
分布式消息队列
以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例
xqnode
·
2020-08-18 06:53
java
分布式消息队列
1.我们为什么要用消息队列呢?我们使用消息队列最多的应用场景就是解耦、异步、削峰解耦是什么?这就是传统模式的缺点:系统之间的耦合性太强了,就像上图一样!A系统在代码中直接调用B系统和C系统的代码!,但是如果在D系统接入的时候!,系统A就需要重新修改代码!太繁琐了!中间件模式的优点:会将消息写入到消息队列,需要消息的系统自己从消息队列中订阅,所以再有新的系统接入的时候A系统不需要做任何的修改----
蓝色校服的岁月
·
2020-08-18 05:04
kafka
大型网站架构之
分布式消息队列
大型网站架构之
分布式消息队列
以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。
bing.shao
·
2020-08-18 02:57
分布式消息队列
浅析
一个优秀的
分布式消息队列
,个人分析应该具备以下的能力:高吞吐、低
nellson
·
2020-08-18 00:10
网络编程
分布式消息队列
的设计和使用
在系统架构设计中,我们有时会用到消息队列,但对对应为什么需要用到消息队列,消息队列的引入是否对架构设计有更多的好处方面,我们是否有足够的认识?是否存在为了用消息队列而引入呢?所以这里我们需要非常明确我们的架构目标,一般来说,消息队列能够提供以下几个方面的帮助:1,保证消息的传递;如果发送消息时接收者不可用,消息队列会保留消息,直到成功地传递它;2,提供异步的通信协议;消息的发送者将消息发送到消息队
iteye_21199
·
2020-08-17 22:38
系统架构
kafka简介
简介kafka是一个
分布式消息队列
。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
dengyiyu5280
·
2020-08-17 22:48
大数据
Kafka学习心得及总结
kafka是一个高吞吐的
分布式消息队列
系统。特点是生产者消费者模式,先进先出(FIFO)保证顺序,自己不丢数据,默认每隔7天清理数据。消息列队常见场景:系统之间解耦合、峰值压力缓冲、异步通信。
龙YGL龙
·
2020-08-16 00:13
消息队列
kafka
分布式消息队列
Kafka
基本概念主题:好比数据库表,或者系统中文件夹分区:一个主题可以分若干分区,同一个分区内可以保证有序偏移量:一个不断递增的整数值,每个分区的偏移量是唯一的broker:一个独立的kafka服务器MirrorMaker工具:多集群间消息复制Zookeeper:保存集群元数据和消费者信息,broker和主题元数据、消费者元数据分区偏移量硬件选择磁盘吞吐量、磁盘容量、内存、网络、CPU生产者(KafkaP
凹谷
·
2020-08-15 22:18
大数据
docker安装kafka,超级简单的
简介kafka是一个
分布式消息队列
。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
编程加油
·
2020-08-15 22:45
Kafka
分布式系统的正确性验证方法
分布式系统的正确性验证方法1.Jepsen框架Jepsen是一个开源的分布式一致性验证框架,可用于验证分布式数据库、
分布式消息队列
、分布式协调系统。
快乐的霖霖
·
2020-08-15 07:58
分布式与大数据系统
分布式一致性
RabbitMQ实战:运行和管理RabbitMQ
本系列是「RabbitMQ实战:高效部署
分布式消息队列
」书籍的总结笔记。
weixin_34345560
·
2020-08-15 01:13
消息队列之kafka(核心架构)
1.Kafka的经典架构 Kafka是LinkedIn用于日志处理的
分布式消息队列
,同时支持离线和在线日志处理。 Kafka对消息保存时根据Topic进行归类。
weixin_33770878
·
2020-08-12 13:32
大数据
分布式消息队列
Kafka之发布订阅消息系统
教程目录0x00教程内容0x01启动Kafka1.启动Zookeeper2.启动Kafka0x02创建Topic1.创建Topic2.查看topic列表3.查看topic详情信息0x03启动生产者与消费者1.启动生产者2.启动消费者0x04演示消息发布订阅1.发送消息2.订阅消息0xFF总结0x00教程内容启动Kafka创建Topic启动生产者与消费者演示消息发布订阅前提:先安装好Zookeepe
邵奈一
·
2020-08-12 12:19
复制粘贴玩大数据系列教程
大数据
kafka
Kafka(消息队列原理,kafka定义,Kafka架构原理,kafka架构的工作流程)秒懂的kafka
kafka是一个
分布式消息队列
这个定义意味深长,记住容易,理解不易。首先我们得先知道什么是消息系统,他的原理是什么。
isea_you
·
2020-08-12 12:24
kafka
kafka
架构
原理
什么是kafka
工作流程
Kafka 消息队列 --6、Kafka 核心组件 及 核心概念
1、Kafka核心组件概述Kafka是LinkedIn用于日志处理的
分布式消息队列
,同时支持离线和在线日志处理。
XiaodunLP
·
2020-08-12 10:48
Kafka
Kafka-概述和集群部署
2)Kafka是一个
分布式消息队列
。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外ka
青岛欢迎您
·
2020-08-12 10:47
大数据
spark笔记之Spark Streaming整合kafka实战
kafka作为一个实时的
分布式消息队列
,实时的生产和消费消息,这里我们可以利用SparkStreaming实时地读取kafka中的数据,然后进行相关计算。
我是楠楠
·
2020-08-10 00:47
技术文章
分布式消息队列
Kafka
分布式消息队列
Kafka消息队列是位于生产者和消费者之间的中间件,解除了生产者和消费者的直接依赖关系,使得软件架构更容易扩展和伸缩。能够缓冲生产者产生的数据,防止消费者无法及时处理生产者产生的数据。
zhengzaifeidelushang
·
2020-08-09 04:10
大数据平台搭建
CAP带你轻松玩转Asp.Net Core消息队列
https://github.com/dotnetcore/CAP本博客主要针对易用性这一点,展开叙述,一起看看CAP如何结合EFCore和RabbitMQ带领小白轻松走入
分布式消息队列
的世界。准备首
weixin_34149796
·
2020-08-09 00:32
分布式消息队列
(联网架构核心中间件)之研讨
本次分享是结合网络上现有的资料和自己的一点感想,进行总结,按照下面六方面进行详细阐述:消息、消息协议、消息队列概述消息队列应用场景消息中间件示例JMS消息服务常用消息队列总结一、消息、消息协议、消息队列概述消息即是信息的载体。为了让消息发送者和消息接收者都能够明白消息所承载的信息(消息发送者需要知道如何构造消息;消息接收者需要知道如何解析消息),它们就需要按照一种统一的格式描述消息,这种统一的格式
garagong
·
2020-08-08 01:10
study
JAVA面试题
架构
NSQ
本文参考:https://zhuanlan.zhihu.com/p/37081073简介NSQ是Go语言编写的,开源的内存
分布式消息队列
中间件可以大规模地处理每天数以十亿计级别的消息分布式和去中心化拓扑结构
强某某
·
2020-08-05 15:39
成为 Kafka 高手的秘籍:生产者深度实践总结
Kafka简介kafka是一款已经发布了近10年的
分布式消息队列
系统,是一款非常成熟的产品,在各大公司或者产品中或多或少都有他的身影,特别是大数据流处理,log流处理之类的场景,kafka更是充当着几乎必不可少的角色
小几斤
·
2020-08-04 20:19
Kafka
阻塞队列,原子操作的原理分析
生产者消费者的实际使用我相信大家都有使用过
分布式消息队列
,比如ActiveMQ、kafka、RabbitMQ等等,消息队列的是有可以使得程序之间实现解耦,提升程序响应的效率。
aaa7735053
·
2020-08-04 13:12
一文带你读懂什么是Spring Cloud与Spring Cloud Alibaba
包含了:服务注册与发现、配置中心、服务网关、智能路由、负载均衡、断路器、监控跟踪、
分布式消息队列
等等。
Jav进阶道路
·
2020-08-04 08:30
分布式
网关
java
大数据
数据库
5 项大奖,70 项满分!阿里云全方位引领云原生技术升级
阿里云原生在容器平台安全能力、函数及服务、
分布式消息队列
服务、可信云服务最佳实践(服务云)、可信云技术最佳实践(容器及管理)等评选中获得可信云认证!
阿里巴巴云原生
·
2020-08-03 22:19
容器
kubernetes
serverless
分布式
linux系统编程之getsockopt/setsockopt 函数
最近看别人写的代码很多函数不知道啊,在研究
分布式消息队列
beanstalkd,遇到了很多东西。尤其是网络连接方面。代码是这样的。
wintree
·
2020-08-03 06:59
unix
环境高级编程
unix/linux学习篇
C/C++学习
Kafka核心设计与实践原理总结:基础篇
kafka作为当前热门的
分布式消息队列
,具有高性能、持久化、多副本备份、横向扩展能力。
未完成交响曲-KyleWang
·
2020-08-02 12:38
kafka
java后端技术实践
读书
5 项大奖,70 项满分!阿里云全方位引领云原生技术升级
阿里云原生在容器平台安全能力、函数及服务、
分布式消息队列
服务、可信云服务最佳实践(服务云)、可信云技术最佳实践(容器及管理)等评选中获得可信云认证!
阿里技术
·
2020-08-01 11:51
程序员
kafka的安装及使用
Kafka介绍
分布式消息队列
(messageQueue)系统topic:主题、类别分布定义的功能比喻:微信公众号发布者-》推送文章关注公众号订阅1订阅2官网http://kafka.apache.org
乔尼娜沙德星
·
2020-07-31 22:13
kafka
分布式消息队列
kafka
kafka三大特性第一、发布和订阅第二、实时的流处理第三、安全地存储流数据在集群节点上kafka的架构producers、consumers、brockerFirstafewconcepts:Kafkaisrunasaclusterononeormoreserversthatcanspanmultipledatacenters.解析:kafka是一个以集群形式运行在一个或多个机器上,跨多数据中心的
机灵鬼鬼
·
2020-07-31 19:24
RabbitMQ如何保证消息的可达性
RabbitMQ,又称为高性能
分布式消息队列
,它实现了AMQP标准协议。
分布式消息队列
有很多应用场景,比如异步处理、应用解耦、流量削峰等。1、异步处理用户注册后需要发送短信和邮件,传统做法是先将用户信
清幽之地
·
2020-07-31 12:08
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他