分布式消息队列

大数据之Kafka 学习记录

Kafka分布式消息队列包含producer、broker、consumer、zookeeper。producer向broker发送消息，可通过任意broker发现其他broker。
forzawj·2020-06-24 14:38

17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列

转载自：https://mp.weixin.qq.com/s/p12myTUvxGyUSwkiEnPCNg28cm不含头我是程序汪前天点击上方“我是程序汪”，选择“设为星标”做积极的人，而不是积极废人！来源：http://t.cn/RVDWcfe一、资料文档二、开发语言三、支持的协议四、消息存储五、消息事务六、负载均衡七、集群方式八、管理界面九、可用性十、消息重复十一、吞吐量TPS十二、订阅形式和
hery186·2020-06-24 04:01

Zookeepr分布式协调服务之基础铺垫(大数据工程师工作笔记)

由于ZooKeeper是开源的，后来者在分布式锁的基础上又提供了配置维护、组服务、分布式消息队列、分布式通知
朱元禄·2020-06-23 20:06

从零搭建企业大数据分析和机器学习平台-技术栈介绍（三）

目录数据传输和采集Sqoop数据传输工具Flume日志收集工具Kafka分布式消息队列数据存储Hbase分布式Nosql数据库Hdfs分布式文件系统大数据处理HadoopSpark数据查询分析工具ApacheHivePig
有理想的coder·2020-06-23 15:43

【RPC-Python】RPC交互过程

除RPC之外，常见的多系统数据交互方案还有分布式消息队列、HT
allenxguo·2020-06-23 11:59

Kafka 分布式消息队列的特点及应用场景

Kafka的特点1)速度快、高吞吐量、分布式、多分区。2)无需停机即可扩展机器。3)通过将数据持久化到硬盘以及replication防止数据丢失。4)支持多消费者（重要特点）。5)支持online（实时消费）和offline（离线消费，比如按天消费）的场景。6)依赖Zookeeer集群，状态信息都写在Zookeeer集群里7)Kafka消费都采用pull方式，即客户端comsumer主动拉取数据，
郭龙_Jack·2020-06-23 11:27

中文详细注释的开源项目

关注微信公众号【芋道源码】，发送对应关键字项目描述关键字Dubbo分布式RPC服务框架github000RocketMQ分布式消息队列github001Sharding-JDBC数据库分库分表中间件github002MyCAT
公众号-芋道源码·2020-06-23 10:22

RocketMQ知识点汇总

DefaultMQPushConsumer推模型实现原理推模型流量控制拉模型DefaultMQPullConsumer拉模型的操作方式不同类型的生产者DefaultMQProducer同步发送异步发送单向发送延迟消息分布式消息队列的协调者
fengyq17290·2020-06-23 07:10

Kafka+Logstash+ElasticSearch+Kibana实现日志收集与监控、查询

Kafka高吞吐量的分布式消息队列，有生产者消费者功能，可处理动作流数据，收集业务日志(打点或者error日志)官网：http://kafka.apache.org/Logstash数据收集并根据需求过滤特定数据
AMEI_2015·2020-06-23 00:47

消息队列技术的介绍和原理（MQ）

最近要做一个项目准备用分布式消息队列，花点时间看了下。消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。
blade2001·2020-06-22 18:01

Netty游戏服务器实战开发(10):Netty结合kafka实现分布式消息队列

在分布式游戏服务器系统中，消息处理队列主要解决问题就是解耦系统中的业务，使得每个系统看起来功能比较单一，而且解决一些全服数据共享等问题。通常我们知道kafka是作为消息队列比较火的一种方式，其实还有（ActiveMQ，RabbitMQ，ZeroMQ）个人觉得kafka比较好用点，哈哈，习惯吧。同样我们来复习kafka基础。kafka基础。的内容来介绍kafka的基本安装。首先我们要去kafka官方
好一个大布丁·2020-06-22 16:41

分布式消息队列-RabbitMQ 数据结构及应用场景

Kafka、ActiveMQ、RabbitMQ、RocketMQ有什么优缺点?1.各个消息队列对比为什么使用消息队列？1、实现异步：批量数据的异步处理2.消息队列异步流程图2、实现解耦：串行任务的并行化3.消息队列解耦流程图3、流量削峰：高负载任务的负载均衡4.消息队列流量削峰示例4、实现广播：基于生产者消费者模型4.消息队列广播示例RabbitMQ工作模型1、RabbitMQ通信协议为AMQP高
啊楠_0763·2020-06-22 11:17

十月阿里社招Java面试题：数据库+分布式+高并发+JVM+Spring

今天笔者为大家分享“阿里资深Java面试题”，分别是数据库、分库分表、分布式缓存、分布式服务框架、分布式消息队列、分布式搜索引擎、高并发高可用架构设计、JVM、Spring、算法、数据结构等阿里资深java
weixin_45039616·2020-06-21 13:30

Spring Boot 消息队列 RocketMQ 入门

1.概述如果胖友还没了解过分布式消息队列ApacheRocketMQ，建议先阅读下艿艿写的《芋道RocketMQ极简入门》文章。
weixin_42073629·2020-06-21 12:10

Apache Kafka 从 0.7 到 1.0：那些年我们踩过的坑

从去年11月推出KSQL，到今年7月发布2.0版本增加诸多新特性，无不是在宣告：Kafka已经不再只是分布式消息队列，而是集成了分发、存储和计算的“流式数据平台”。与此同时，竞争对手的
weixin_33939843·2020-06-21 11:32

RabbitMQ实战：理解消息通信

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。
情情说·2020-06-21 09:03

2020Java开发岗位面试题汇总

由于Zookeeper的开元特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。
君子志邦·2020-06-21 08:28

RabbitMQ实战：性能和安全

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。
weixin_34137799·2020-06-20 21:09

kafka学习笔记

Apachekafka是一个开源的分布式消息队列，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目，该项目的目的是为处理实时数据提供一个高吞吐量、低等待的平台。
张南生·2020-05-29 07:00

Nsq 原理分析(一)

Nsq是用go语言开发的轻量级的分布式消息队列，适合小型项目使用、用来学习消息队列实现原理、学习golangchannel知识以及如何用go来写分布式，为什么说适合小型小型项目使用因为，nsq如果没有能力进行二次开发的情况存在的问题还是很多的
朱伟·2020-05-29 07:58

Spring Boot 消息队列 ActiveMQ 入门

1.概述如果胖友还没了解过分布式消息队列ActiveMQ，建议先阅读下艿艿写的《芋道ActiveMQ极简入门》文章。
weixin_42073629·2020-05-22 23:24

Spring Boot 消息队列 Kafka 入门

1.概述如果胖友还没了解过分布式消息队列ApacheKafka，建议先阅读下艿艿写的《Kafka极简入门》文章。虽然这篇文章标题是安装部署，实际可以理解成《一文带你快速入门Kafka》，哈哈哈。
weixin_42073629·2020-05-20 23:34

kafka-deploy

ApacheKafka也是一个开源消息系统，由Scala写成；Kafka是一个分布式消息队列。
元婴期·2020-04-16 19:22

Linux安装Kafka

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
问题_解决_分享_讨论_最优·2020-04-14 09:39

zookeeper（单机、伪集群、集群）部署

由于ZooKeeper开源的特性，在其分布式锁实现的基础上，又被摸索出了其它的功用，譬如：配置维护、组服务、分布式消息队列等等。ZooKeeper维护了一个
wx5cc19525285e2·2020-04-12 16:27

消息中间件—Kafka数据存储（一）

Kafka这款分布式消息队列使用文件系统和操作系统的页缓存（pagecache）分别存储和缓存消息，摒弃了Java的堆缓存机制，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO
癫狂侠·2020-04-10 20:00

2019一篇文章了解kafka与集群的详细搭建

kafka基本概念:1.什么是kafka1).apachekafka是一个开源的分布式消息队列(生产者消费者模式)2).apachekafka目标:构建企业中统一的,高通量的,低延迟的消息平台3).大多的消息队列
c062197eecd2·2020-04-09 03:52

zookeeper（单机、伪集群、集群）部署

由于ZooKeeper开源的特性，在其分布式锁实现的基础上，又被摸索出了其它的功用，譬如：配置维护、组服务、分布式消息队列等等。ZooKeeper维护了一个
张九冫·2020-04-04 22:34

java B2B2C Springcloud仿淘宝电子商城系统-RocketMQ与Kafka对比

Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafk
IT小跑兵·2020-04-01 11:14

Kafka源码深度解析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。
编码前线·2020-03-27 19:43

【新手快速入门】从零开始学习Kafka

简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
逸如风飞·2020-03-26 02:28

10分钟搞懂：95%的程序员都拎不清的分布式消息队列中间件

分布式消息队列是是大型分布式系统不可缺少的中间件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。
拉勾教育·2020-03-19 01:29

java版spring cloud 多租户社交电子商务-RocketMQ与Kafka对比

Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称
IT小跑兵·2020-03-14 15:51

java B2B2C Springcloud仿淘宝电子商城系统-RocketMQ与Kafka对比

Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafk
IT达人Q·2020-03-14 02:20

深入浅出MyBatis：JDBC和MyBatis介绍

最近在休陪产假，时间比较零碎，准备看2本书充实下，一本是「深入浅出MyBatis：技术原理与实践」，一本是「RabbitMQ实战：高效部署分布式消息队列」，为了加深记忆和理解，会进行整理、扩展和记录。
情情说·2020-03-13 15:05

2018-07-18 kafka

分布式消息队列分为生产者和消费者scala写的集群部署：1.安装zookeeper2.解压kafka3.修改配置文件vi/conf/server.properties#id，每台机器id不一致可用0，1
江江江123·2020-03-13 07:33

老吴的学习笔记-Zookeeper

分布式消息队列如kafka、分布式缓存如redis集群、远程调用协议dubbo等，都是通过zk来完成系统各部分间的协调工作。
老吴学技术·2020-03-13 05:18

kafka

SDN控制器一、学习了SDN所涉及的DMQ（分布式消息队列）1.DMQ总体架构DMQ基于Kafka架构建立，Kafka是一种分布式的，消息发布/订阅系统，图中包含了kafka架构的主要的几大部件。
降格松·2020-03-08 18:17

Kafka

Kafka简介Kafka由scala编写,提供java.scalaAPI,它是一个分布式消息队列，一般用来缓存数据，还可以实现拦截器的功能,过滤某些自定义数据,而Storm/Streaming通过消费Kafka
终生学习丶·2020-03-06 11:10

zookeeper技术内幕

同时，用户可以在分布式锁的基础上开发其他功能，例如配置维护、分布式通知/协调、组服务、分布式消息队列等。
伍柒大人的三言两语·2020-02-21 23:08

RPC基础以及造一个RPC的轮子需要注意些什么

除RPC之外，常见的多系统数据交互方案还有分布式消息队列、HTTP请求调用、数据库和分布式缓存等如果两个子系统没有在网络上进行分离，而是运行在同一个操作系统实例之上的两个进程时，它们之间的
胖大星-·2020-02-16 10:00

kafka 分布式消息队列

kafka是一种高吞吐量的分布式发布订阅消息系统。kafka的目的是通关并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。结构：结构生产消息：生产消息Producer将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等.Kafka系统的角色-Broker：一台kaf
果果酱ya·2020-02-11 12:03

分布式消息队列应用场景之异步处理、应用解耦、流量削锋和消息通讯理解分析

摘要：消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，Kafka等。消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。1.异步处理场景说明：用户注册后，需要
久伴成忆·2020-01-10 14:00

关于回调函数和分布式消息队列的认识

回调，在平时工作中经常能够听到。字面意思就是，我调用某对象的某项服务，然后等到将来的某个时机，被调用对象返回我想要的数据。其实，从字面上这样理解就可以大致知道什么意思了，但是这里的我调用对象的某项服务换成我向某个对象注册一个感兴趣的事件更为合适。在java里面有很多例子，最典型的就是PubSub模型，也就是设计模式中的观察者模式，首先很多客户向Publisher订阅消息，也就是把自己的refere
freelands·2020-01-08 13:09

Kafka 的七年之痒

从去年11月推出KSQL，到今年7月发布2.0版本增加诸多新特性，无不是在宣告：Kafka已经不再只是分布式消息队列，而是集成了分发、存储和计算的“流式数据平台”。与此同时，竞争对手的崛起也
Java架构学习者·2020-01-05 10:27

Kafka源码分析－序列2 －Producer －Metadata的数据结构与读取、更新策略

从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。
丸_子·2020-01-05 10:49

震惊了！原来这才是kafka！

[TOC]简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
123archu·2020-01-02 22:46

第2章 生产环境下的配置和使用

本章会先介绍RocketMQ的各个角色，然后介绍如何搭建一个高可用的分布式消息队列集群，以及RocketMQ的Consumer和Producer的使用方法与常用命令。
super_pcm·2019-12-28 22:57

消息队列二---消息队列的高可用

(系统可用性降低)从架构来分析(主从架构/分布式架构)主从架构(ActiveMQ和RabbitMQ)RabbitMQ的高可用性RabbitMQ之类的，并不是分布式消息队列，它就是传统的消息队列，只不过提供了一些集群
哇卡卡卡卡·2019-12-27 15:00

<转载>腾讯云分布式高可靠消息队列CMQ架构

CMQ是腾讯云内部自研基于的高可靠、强一致、可扩展分布式消息队列，在腾讯
十车书·2019-12-24 17:55
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他