分布式消息队列

CMQ——多线程实现自动拉取消息

腾讯云消息队列（CloudMessageQueue，CMQ）是一种分布式消息队列服务，它能够提供可靠的基于消息的异步通信机制，能够将分布式部署的不同应用（或同一应用的不同组件）之间的收发消息，存储在可靠有效的
mandy@i·2019-07-21 00:00

kafka 设计原理（震惊了！原来这才是kafka！）

原文：https://www.jianshu.com/p/d3e963ff8b70简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。
buyulian·2019-07-16 20:45

kafka学习文档

kafka参考资料kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。Kafka就是一种发布-订阅模式。
红豆泥333·2019-06-30 17:43

Springboot2整合kafka的两种使用方式

Springboot2整合kafkakafkadocker上安装环境Springboot2引入kafka基于注解基于客户端kafka是一个分布式消息队列。
冲动的仔bb·2019-06-23 23:06

分布式消息队列详解：3min搞懂同步和异步架构等问题

分布式消息队列是是大型分布式系统不可缺少的中间件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。
开悟班主任Abby·2019-06-06 16:45

基于2PC和延迟更新完成分布式消息队列多条事务Golang版本

背景分布式多消息事务问题在消息队列使用场景中，有时需要同时下发多条消息，但现在的消息队列比如kafka只支持单条消息的事务保证，不能保证多条消息，今天说的这个方案就时kafka内部的一个子项目中基于2PC和延迟更新来实现分布式事务2PC2PC俗称两阶段提交，通过将一个操作分为两个阶段：准备阶段和提交阶段来尽可能保证操作的原子执行(实际上不可能，大家有个概念先)延迟更新延迟更新其实是一个很常用的技术
仔仔·2019-05-18 00:00

Kafka简明教程

概述Kafka是一个分布式消息队列(MQ,Messagequeue)中间件，支持点对点(Quene)、发布订阅(Topic)模式。
飞鸿影·2019-05-11 14:00

kafka笔记整理

Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic（主题）进行归类，发送消息者称为Producer,消息接受者称为Consumer,此外
qq_36174081·2019-05-07 10:16

Kafka基本知识整理

首先Kafka是一个分布式消息队列中间件，Apache顶级项目，https://kafka.apache.org/高性能、持久化、多副本备份、横向扩展。
Eric zhou·2019-05-04 15:00

MQ消息队列(11) 分布式消息队列：如何保证消息不被重复消费（消息队列消费的幂等性）

怎么保证消息不被重复消费?（消息队列消费的幂等性）先大概说一说可能会有哪些重复消费的问题。首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后con
大神，快来碗里·2019-05-04 12:48

MQ消息队列(10) 分布式消息队列：如何保证消息的顺序性

来源：https://juejin.im/post/5c9b1c155188251d806727b2数据的顺序性（1）rabbitmq保证数据的顺序性如果存在多个消费者，那么就让每个消费者对应一个queue，然后把要发送的数据全都放到一个queue，这样就能保证所有的数据只到达一个消费者从而保证每个数据到达数据库都是顺序的。rabbitmq：拆分多个queue，每个queue一个consumer，
大神，快来碗里·2019-05-04 12:29

Kafka基础教程

Kafka最早是linkedin公司用于日志处理的分布式消息队列。现在它的功能远不止消息队列这么简单。根据Kafka官网的定义，Kafka是一个分布式的流处理平台。
伊凡的一天·2019-05-01 07:12

一文读懂:Kafka(分布式消息队列)的基础概念,教程

[提前声明]文章由作者:张耀峰结合自己生产中的使用经验整理,最终形成简单易懂的文章写作不易,转载请注明,谢谢!代码案例地址:?https://github.com/Mydreamandreality/sparkResearch一文读懂系列:Kafka基本概念我们一般学习一个新的技能,都会经历如下这么一个阶段:这是个什么玩意啊,它能做什么啊,怎么做啊,为什么它就能做啊,哦这样啊.好厉害啊~我就按照这
李时珍皮啊·2019-04-23 13:05

RocketMQ消息过滤与查询

消息过滤RocketMQ分布式消息队列的消息过滤方式有别于其它MQ中间件，是在Consumer端订阅消息时再做消息过滤的。
徘徊笔记（同公众号）·2019-04-07 11:19

消息中间件之：Kafka、ActiveMQ、RabbitMQ、RocketMQ

《一》kafka的工作原理介绍《二》zk搭载kafka分布式消息队列浅析一、简介消息队列已经逐渐成为企业IT系统内部通信的核心手段。
编程机器猫·2019-03-14 15:13

Spark Streaming实时流处理项目实战学习-笔记二

4.分布式消息队列Kafkakafka.apache.orgKafa概述和消息系统类似消息中间件：生产者和消费者篮子／框：KafaKafka架构producer：生产者，就是生产馒头（老妈）consumer
Trap_In_Study·2019-03-06 21:04

Kafka底层原理架构

1、Kafka核心组件概述Kafka是LinkedIn用于日志处理的分布式消息队列，同时支持离线和在线日志处理。
qichangjian·2019-03-05 18:14

基于Redis实现分布式消息队列(三)

1、Redis是什么鬼？Redis是一个简单的，高效的，分布式的，基于内存的缓存工具。假设好服务器后，通过网络连接（类似数据库），提供Key－Value式缓存服务。简单，是Redis突出的特色。简单可以保证核心功能的稳定和优异。2、性能性能方面：Redis是足够高效的。和Memecached对比，在数据量较小大情况下，Redis性能更优秀。数据量大到一定程度的时候，Memecached性能稍好。简
cocacola81·2019-03-05 16:16

Spark Streaming实时流处理项目11——综合实战

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-27 11:11

Spark Streaming实时流处理项目10——日志产生器开发并结合log4j完成日志的输出

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-25 16:50

Spark Streaming实时流处理项目9——Spark Streaming整合Kafka实战

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-23 20:33

Spark Streaming实时流处理项目8——Spark Streaming与Flume的整合

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-22 17:34

kafka基本原理重要概念优缺点

：https://kafka.apache.org/×××：http://archive.apache.org/dist/kafka/kafka简介Kafka是一个分布式的消息缓存系统，用于日志处理的分布式消息队列
马吉辉·2019-02-22 13:44

Spark Streaming实时流处理项目7——Spark Streaming实战2

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-20 16:08

Spark Streaming实时流处理项目6——Spark Streaming实战1

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-20 12:47

Spark Streaming实时流处理项目5——Spark Streaming入门

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 19:37

Spark Streaming实时流处理项目4——实战环境搭建

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 16:18

Spark Streaming实时流处理项目3——整合Flume和Kafka完成实时数据采集

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 10:10

Spark Streaming实时流处理项目2——分布式消息队列Kafka学习

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-17 17:19

Spark Streaming实时流处理项目1——分布式日志收集框架Flume的学习

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-17 11:53

ASP.Net Core 中使用Zookeeper搭建分布式环境中的配置中心系列一：使用Zookeeper.Net组件演示基本的操作

它的作用体现在分布式系统中解决了配置中心的问题，以及解决了在分布式环境中不同进程之间争夺资源的问题，也就是分布式锁的功能以及分布式消息队列功能等等。所以在微服务的环境中Zookeeper
菠萝吹雪—Code·2019-01-31 15:00

Kafka 原理总结

的使用Producer拦截器(interceptor)KafkaStreamsKafka与Flume概念 ApacheKafka是一个开源消息系统，由Scala写成，由LinkedIn公司开发，是一个分布式消息队列
RayfunC·2019-01-24 00:00

消息队列之kafka(核心架构)

1.Kafka的经典架构 Kafka是LinkedIn用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka对消息保存时根据Topic进行归类。 
原生zzy·2018-12-30 21:34

kafka + sparkStreaming 学习笔记

Kafkakafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。
今夕何年-·2018-12-29 09:35

XXL-MQ v1.2.2 发布，分布式消息队列

支持批量注册、摘除，提升注册发现性能；升级xxl-rpc至v1.3.1;3、升级pom依赖至较新版本；4、表结构调整提升兼容性，表名转小写；5、客户端取消Consumer非空的限制；简介XXL-MQ是一款轻量级分布式消息队列
xuxueli·2018-12-21 00:00

RocketMQ实战(一)之集群环境的搭建

分布式消息队列可以提供应用解耦、流量削峰、消息分发等功能。三：RocketMQ集群环境的搭建1：RocketMQ安装包的下
脚踏实地，仰望星空·2018-12-09 00:17

分布式消息队列RocketMQ--事务消息

参考https://blog.csdn.net/chunlongyu/article/details/53844393说到分布式事务，就会谈到那个经典的”账号转账”问题：2个账号，分布处于2个不同的DB，或者说2个不同的子系统里面，A要扣钱，B要加钱，如何保证原子性？一般的思路都是通过消息中间件来实现“最终一致性”：A系统扣钱，然后发条消息给中间件，B系统接收此消息，进行加钱。但这里面有个问题：A
老鼠AI大米_Java全栈·2018-12-07 16:42

kafka入门

kafka的分区策略5、掌握kafka整合flume6、掌握kafka如何保证消息不丢失2、kafka概述2.1kafka是什么kafka是由linkedin开源，捐献apache基金会，它是一个实时的分布式消息队列
CoderBoom·2018-12-06 22:13

XXL-MQ v1.2.1 发布，分布式消息队列

ReleaseNotes1、单机TPS过万：示例项目中新增功能测试、性能测试用例，以及消息生产、消费、成功率等方便的数据分析；可参考示例项目性能测试用例（章节“2.6功能测试&性能测试”），单机TPS过万；2、底层longpolling监控keys非法去重问题修复；3、注册逻辑优化，批量注册，提高注册性能，降低注册中心压力；4、消息中心RPC服务支持自定义注册IP地址；5、消息中心内置注册中心线程
xuxueli·2018-12-02 00:00

XXL-MQ v1.2.0，分布式消息队列

ReleaseNotes1、client端与Broker长链初始化优化，防止重复创建连接。2、POM多项依赖升级；3、UI组件升级；4、规范项目目录结构；6、超时控制；5、通讯迁移至xxl-rpc；6、除了springboot类型示例；新增无框架示例项目"xxl-mq-samples-frameless"。不依赖第三方框架，只需main方法即可启动运行；7、消息生产，兼容“异步批量多线程生产”+“
xuxueli·2018-11-28 00:00

企业级大数据技术框架（六层大数据技术体系）

1、数据收集层：分布式、异构性、多样化、流式产生主要由关系型和非关系型数据收集组件，分布式消息队列构成。
凹谷·2018-11-19 13:52

Kafka 的七年之痒

从去年11月推出KSQL，到今年7月发布2.0版本增加诸多新特性，无不是在宣告：Kafka已经不再只是分布式消息队列，而是集成了分发、存储和计算的“流式数据平台”。与此同时，竞争对手的崛起也
java1856905·2018-11-18 21:04

大数据基础增强----【Zookeeper】

诸如：统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。1.2Zookeeper特性全局数据一致:集群中数据一致,
CoderBoom·2018-11-11 23:39

大数据基础增强----【Zookeeper】

诸如：统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。1.2Zookeeper特性全局数据一致:集群中数据一致,
CoderBoom·2018-11-11 23:39

RocketMQ学习(四)——RocketMQ消息发送

RocketMQ网络架构图RocketMQ分布式消息队列的网络部署架构图如下图所示于上图中几个角色的说明：(1)NameServer：RocketMQ集群的命名服务器（也可以说是注册中心），它本身是无状态的
微笑看你哭·2018-11-05 18:57

基于Redis实现分布式消息队列

在功能设计上，我崇尚奥卡姆剃刀法则。对于消息队列，只需要两个方法：生产和消费。具体的业务场景是任务队列，代码设计如下：同时支持多个队列，每个队列都应该有个名字。final确保TaskQueue是线程安全的。TaskQueue的实现类也应该确保线程安全。addTask向队列中添加一个任务。队列中仅保存任务的id，不存储任务的业务数据。popTask从队列中取出一个任务来执行。这种设计不是特别友好，因
zxc1471·2018-11-05 14:35

Zookeeper

由于ZooKeeper的开源特性，后来开发者在分布式锁的基础上，摸索出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。
dack·2018-10-31 00:00

Kafka安装（极简版）

Kafka简介kafka是一个高吞吐量的分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力，通常用于大数据及流处理平台。
ZeroOne01·2018-10-25 12:02

整合Flume和Kafka完成实时数据采集

结合我的这三篇博客Flume应用案例之两台服务器之间进行实时数据采集和分布式消息队列Kafka简介及环境安装部署Flume应用案例之监控一个文件实时采集新增的数据输出到控制台把avro-memory-logger.conf
29DCH·2018-10-19 15:28

整合Flume和Kafka完成实时数据采集

结合我的这三篇博客Flume应用案例之两台服务器之间进行实时数据采集和分布式消息队列Kafka简介及环境安装部署Flume应用案例之监控一个文件实时采集新增的数据输出到控制台把avro-memory-logger.conf
29DCH·2018-10-19 15:28
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他