分布式消息队列

基于Redis实现分布式消息队列（3）

1、Redis是什么鬼？Redis是一个简单的，高效的，分布式的，基于内存的缓存工具。假设好服务器后，通过网络连接（类似数据库），提供Key－Value式缓存服务。简单，是Redis突出的特色。简单可以保证核心功能的稳定和优异。2、性能性能方面：Redis是足够高效的。和Memecached对比，在数据量较小大情况下，Redis性能更优秀。数据量大到一定程度的时候，Memecached性能稍好。简
stationxp·2020-07-05 13:38

Kafka 入门及安装部署介绍

一、kafka入门1简介Kafka是linkedin用于日志处理的分布式消息队列，同时支持离线和在线日志处理。
实验楼·2020-07-04 09:15

跟Kafka学技术系列之时间轮

写在前面kafka是一个分布式消息中间件，其高可用高吞吐的特点是大数据领域首选的消息中间件，Kafka是分布式消息队列的顺序读写文件分段组织串联起来思想的鼻祖，包括RocketMq这些消息队列都是借鉴了
滴滴云说运维·2020-07-02 13:45

分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正”

我们知道，阿里的RocketMQ其实源自Kafka。同时网络上一直流传着1篇阿里中间件团队所写的RocketMQ与Kafka的18项差异的文章，并且被广泛转发。比如：http://blog.csdn.net/damacheng/article/details/42846549https://yq.aliyun.com/articles/25389作为对Kafka有一点研究的爱好者，认为这18项差异
Amazing的fighting·2020-07-02 00:18

分布式消息队列RocketMQ与Kafka架构上的巨大差异之2 -- CommitLog与ConsumeQueue

在前面Rocket与Kafka的对比之“拨乱反正”续篇中，我们已经提到了RocketMQ和Kafka在架构上面的一个巨大差异：Kafka是每个partition对应一个文件，而RocketMQ是把所有topic的所有queue的消息存储在一个文件里面，然后再分发给ConsumeQueue。存储上的巨大差异Kafka的存储下图展示了Kafka的存储结构:其中每个topic_partition对应一个
Amazing的fighting·2020-07-02 00:18

分布式消息队列ActiveMQ

消息队列的使用场景削峰填谷：当下游的数据处理不过来的时候，可以先把消息缓存到一个地方，再进行慢速消费异步化缓冲：有些业务逻辑实时性要求不高，只需要做到最终一致性，类似柔性的事务服务解耦：服务的拆分和隔离，需要看业务是强依赖还是弱依赖，如果是若依赖，就可以用MQ做一个消息的投递，但必须要保证上游投递的可靠性应用的思考点如何保证生产端的可靠性投递？如何保证消费端的幂等性，即消息只能消费一次？基础概念专
senga07·2020-07-02 00:47

分布式消息队列Kafka

Kafka的主要特点Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务，它主要用于处理活跃的流式数据。同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（110MB）。可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例
senga07·2020-07-02 00:16

分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题

在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1,2,3。。。Consumer按1,2,3。。。顺序消费。但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！这个特性看起来很简单，但为什么缺省他们都不保证呢？“严格的顺序消费”有多么困难下面就从3个方面来分析一下，对于一个消息中间件来说，”严格的
awhip9·2020-07-01 17:10

分布式消息队列RocketMQ--事务消息--解决分布式事务的最佳实践

说到分布式事务，就会谈到那个经典的”账号转账”问题：2个账号，分布处于2个不同的DB，或者说2个不同的子系统里面，A要扣钱，B要加钱，如何保证原子性？一般的思路都是通过消息中间件来实现“最终一致性”：A系统扣钱，然后发条消息给中间件，B系统接收此消息，进行加钱。但这里面有个问题：A是先updateDB，后发送消息呢？还是先发送消息，后updateDB？假设先updateDB成功，发送消息网络失败，
LzwGlory·2020-07-01 15:57

分布式消息队列 RocketMQ源码解析：事务消息

摘要:原创出处http://www.iocoder.cn/RocketMQ/message-transaction/「芋道源码」欢迎转载，保留摘要，谢谢！本文主要基于RocketMQ4.0.x正式版1.概述2.事务消息发送2.1Producer发送事务消息2.2Broker处理结束事务请求2.3Broker生成ConsumeQueue3.事务消息回查3.1Broker发起【事务消息回查】3.1.1
芋道源码·2020-07-01 14:26

消息中间件—RocketMQ消息存储（一）

文章摘要：MQ分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下RocketMQ存储部分的架构消息存储是MQ消息队列中最为复杂和最为重要的一部分，所以小编也就放在RocketMQ系列篇幅中最后一部分来进行阐述和介绍
癫狂侠·2020-07-01 09:47

RocketMQ学习笔记(一) 初识

介绍分布式消息队列是用来高效传输消息的。RocketMQ由四个部分组成。
yubuyun·2020-07-01 05:37

分布式消息队列RocketMQ

初识RocketMQRocketMQ是一款分布式、队列模型的消息中间件，由阿里巴巴自主研发的一款适用于高并发、高可靠性、海量数据场景的消息中间件。早期开源2.x版本名为MetaQ；15年迭代3.x版本，更名为RocketMQ，16年开始贡献到Apache，经过1年多的孵化，最终成为Apache顶级的开源项目，更新非常频繁，社区活跃度也非常高；目前最新版本为4.5.1-release版本（2019-
senga07·2020-07-01 02:32

分布式消息队列：如何保证消息不被重复消费?（消息队列消费的幂等性）

怎么保证消息不被重复消费?（消息队列消费的幂等性）先大概说一说可能会有哪些重复消费的问题。首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后con
若丨寒·2020-06-30 18:13

老吴的学习笔记-kafka

分布式消息队列排队用的。在分布式系统中，消息队列(messagequeue)是实现生产者消费者模式的利器！生产者（producer）把只管把生产好的消息无脑往队列里放，快慢都可以跟着感觉走。
老吴学技术·2020-06-30 17:47

分布式消息队列选型分析

高并发架构是成为架构师的必修课，而消息队列，则是王冠上最闪亮的那颗明珠！能否驾驭消息队列这款高并发神器，亦成为架构师的试金石。本文将从队列本质、技术选型两个方面，给大家整理下个人心得，希望能对大家有所帮助。0前言MQ全称为MessagesQueue,消息队列是应用程序和应用程序之间的通信方法为什么使用MQ？在项目中，可将一些无需耗时的操作提取出来，进行异步操作，而这种异步处理方式大大的姐生了服务器
zhuimeng2023·2020-06-30 17:11

Springboot+@Async异步+多线程

博主在写项目是需要添加异步操作来提高效率，在网上有很多关于异步操作的例子有的是集成消息队列mq（kafka等分布式消息队列）有的是集成redis的消息队列等操作，关于消息队列的好处可以自行百度一下，在下认为集成消息队列是需要安装对应的程序对于小型项目没有必要
一尘在心·2020-06-30 13:44

go消息队列nsq源码调用分析

nsq是一个开源的分布式消息队列中间件，用Go语言编写。学习golang的时候正好看到，同时又想深入了解消息队列实现原理和go的特性，就从源码角度分析下。
yefengzhichen·2020-06-30 07:25

读-李智慧-大型网站技术架构：核心原理与案例分析

前端性能优化应用服务器性能优化存储性能优化可用性可用性度量和考核高可用的应用高可用的服务高可用的数据高可用的软件质量保证网站运行监控伸缩性网站架构的伸缩性设计应用服务集群的伸缩性设计分布式缓存集群的伸缩性设计数据存储服务器集群的伸缩性扩展性分布式消息队列
熊猫小牛牛·2020-06-30 01:43

Flume和Kafka的区别与联系

、选择器、channel、sink），其中传递的是原子性的event数据；使用双层Flume架构可以实现一层数据采集，一层数据集合；Flume的概念、基本架构kafka一般用于日志缓存，是一个可持久的分布式消息队列
攻城狮Kevin·2020-06-29 22:23

消息队列MQ选型 - Kafka、RabbitMQ对比

kafka：由scala开发的高性能、跨语言、分布式消息队列，单机吞吐量可以
王卫东·2020-06-29 21:15

大型网站架构之分布式消息队列

一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削
woailuohui·2020-06-29 19:47

SparkStreaming14（Kafka数据源与spark对接）

CreateDstream方式第二种方式对接kafka之CreateDirectStream方式Apchekafka数据源0.10版本对接ApacheKafka数据源0.8版本对接方式kafka作为一个实时的分布式消息队列
Bitmao888·2020-06-29 16:24

Spring Boot 消息队列 RabbitMQ 入门

1.概述如果胖友还没了解过分布式消息队列RabbitMQ，建议先阅读下艿艿写的《芋道RabbitMQ极简入门》文章。
weixin_42073629·2020-06-29 03:53

【线上直播】分布式消息队列Kafka

FMI线上直播分享主题：分布式消息队列Kafka分享大纲：1.Kafka基础2.Kafka程序设计3.Kafka典型应用4.总结分享时间：5月29日（周二）20:00-21:30报名方式：【线上直播】分布式消息队列
weixin_34413357·2020-06-28 19:34

很到位！原来这才是Kafka的“真面目”

2019独角兽企业重金招聘Python工程师标准>>>简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。
weixin_34366546·2020-06-28 18:30

RabbitMQ实战：消息通信模式和最佳实践

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。
weixin_33769125·2020-06-28 05:56

运维工程师从入门到放弃必备书籍

By:Linxuhttp://www.walker0909.com/《鸟哥的私房菜》（基础版/服务器版）《构建之法——现代软件工程》《RabbitMQ实战高效部署分布式消息队列》《程序员必读软件架构》《
weixin_33743703·2020-06-28 04:19

分布式消息队列：如何保证消息不被重复消费?（消息队列消费的幂等性）

怎么保证消息不被重复消费?（消息队列消费的幂等性）先大概说一说可能会有哪些重复消费的问题。首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后con
weixin_33712987·2020-06-28 03:50

RabbitMQ实战：界面管理和监控

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。上一篇总结了可能出现的异常场景，并对RabbitMQ提供的可用性保证进行了分析，在出现服务器宕机后，仍然可以正常服务。
weixin_33705053·2020-06-28 03:10

kafka分布式消息队列 — 基本概念介绍

【http://www.inter12.org/archives/818】这个应该算是之前比较火热的词了，一直没时间抽出来看看。一个新东西出来，肯定是为了解决某些问题，不然不会有它的市场。先简单看下。官方介绍：分布式、分区、支持复制的日志提交系统适用场景：顾名思义，特别适合用于系统日志的异步记录，对于数据稳定性、一致性、可靠性要求不高的场景，追求的是高吞吐量。非传统的MQ产品！核心模型抽象：top
weixin_30701521·2020-06-27 23:34

kafka学习笔记

Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。Kafka对消息
weixin_30399055·2020-06-27 19:44

quasar协程结合消息队列的游戏服务器框架——项目

需要掌握：基于分布式消息队列的服务器框架；对进程、线程、协程有概念；有异步开发思想。背景：项目中经常有异步rpc调用，需要写回调方法，语法上看着不顺眼（有点小傲娇），想通过同步的写法实现异步操作。
wcqdong·2020-06-27 14:51

RabbitMQ实战：界面管理和监控

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。上一篇总结了可能出现的异常场景，并对RabbitMQ提供的可用性保证进行了分析，在出现服务器宕机后，仍然可以正常服务。
情情说·2020-06-27 14:26

RabbitMQ实战：性能和安全

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。
情情说·2020-06-27 14:25

分布式中间件实践之路

本课程是作者从事中间件研发的经验总结，来自实践，服务于实践，课程主要包括分布式缓存、分布式锁、分布式消息队列三大部分内容，涉及Redis、Etcd、Kafka、RocketMQ等众多主流开源软件的使用方案
GitChat的博客·2020-06-27 11:51

深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列

消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。消息队列在电商系统、消息通讯、日志收集等应用中扮演着关键作用，以阿里为例，其研发的消息队列(MQ)服务于阿里集团超过11年，在历次天猫双十一活动中支撑了万亿级的数据洪峰，为大规模交易提供了有力保障。目前在生产环境，使用较多的消息队列有Ac
GitChat的博客·2020-06-27 10:47

NSQ消息发送机制

NSQ是Go语言编写的，开源的分布式消息队列中间件，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。
Stray_Cat_Founder·2020-06-27 07:28

分布式消息队列RabbitMQ

这篇文章简单讲述下分布式消息队列的基础知识，不会太深入，因为类似MQ这样的分布式组件有很多不同的种类，都有各自的特征和其对应的应用场景，需要在实际应用中才能更加深入的理解。
祚儿疯·2020-06-27 03:06

Spring Cloud Alibaba 教程 | RocketMQ（一）：快速入门

RocketMQ概述RocketMQ是一款由阿里研发的高性能高可靠性的分布式消息队列，使用Java语言开发，该项目已经贡献给了Apache基金会，成为Apache的顶级开源项目。
攻城狮Luke（刘健彬）·2020-06-26 23:53

Spark Streaming实时流处理-3.分布式消息队列Kafka

0.目录Kafka概述Kafka架构及核心概念Kafka部署及使用Kafka容错性测试KafkaAPI编程Kafka实战1.Kafka概述Kafka官网：http://kafka.apache.org/发布订阅-消息系统实时流处理存储：多副本，分布式存储和消息系统类似，消息中间件：生产者和消费者2.Kafka架构和核心概念kafka1producer：生产者consumer：消费者broker：一
何以畅闲情·2020-06-26 22:49

综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列

转自：https://zhuanlan.zhihu.com/p/115129993本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ17个方面综合对比作为消息队列使用时的差异。目录一、资料文档二、开发语言三、支持的协议四、消息存储五、消息事务六、负载均衡Kafka：支持负载均衡。rabbitmq：对负载均衡的支持不好。zeromq：去中心化，不支持负载均衡。本
kuotian·2020-06-26 18:00

EQueue - 一个纯C#写的分布式消息队列介绍2

一年前，当我第一次开发完EQueue后，写过一篇文章介绍了其整体架构，做这个框架的背景，以及架构中的所有基本概念。通过那篇文章，大家可以对EQueue有一个基本的了解。经过了1年多的完善，EQueue无论是功能上还是成熟性上都完善了不少。所以，希望再写一篇文章，介绍一下EQueue的整体架构和关键特性。EQueue架构EQueue是一个分布式的、轻量级、高性能、具有一定可靠性，纯C#编写的消息队列
tangxuehua·2020-06-26 18:17

kafka学习之路（一）——入门

主题（Topics）、日志（Logs）3、分布式（Distribution）4、生产者（Producers）5、消费者（Consumers）一、入门1、简介Kafka是linkedin公司用于日志处理的分布式消息队列
汤高·2020-06-26 17:16

超级账本hyperledger fabric第五集：共识排序及源码阅读

模拟的交易排序：确定交易顺序，最终将排序好的交易打包区块分发交易验证：区块存储前要进行一下交易验证二.orderer节点的作用交易排序目的：保证系统的最终一致性（有限状态机）solo：单节点排序kafka：外置的分布式消息队列区块分发
super_lixiang·2020-06-26 16:10

Kafka简介和架构

一、简介Kafka是一个分布式消息队列。
student__software·2020-06-26 15:15

docker：zookeeper与kafka实现分布式消息队列

一、安装下载镜像dockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka通过docker-compose启动docker-compose.yml脚本（zk+kafka版）version:'2'services:zoo1:image:wurstmeister/zookeeperrestart:unless-stoppedhostname
不加糖Zzz·2020-06-26 11:58

Kafka基本知识整理

首先Kafka是一个分布式消息队列中间件，Apache顶级项目，https://kafka.apache.org/高性能、持久化、多副本备份、横向扩展。
dotNET跨平台·2020-06-26 06:44

分布式消息队列——Kafka归纳笔记

什么是Kafka：kafka是Apache开发的一个开源流处理平台，他是一个可持久化的分布式消息队列，存储数据流时可以以一种容错的方式来存储，可以类比副本冗余机制（一条消息可以设置多副本）。
翔千岁·2020-06-25 17:50

大数据技术简介

sqoopdatax实时采集数据库数据canelOracleGoldenGate日志采集FlumeLogstashScribe数据存储技术分布式文件系统hdfsalluxio键值型数据库hbaseredis分布式消息队列
EricLihuifeng·2020-06-25 04:28
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他