分布式消息队列

分布式消息队列Apache RocketMQ源码剖析-Producer分析

正文首先我们看一下Producer的继承结构:image.pngMQAdmin主要包含一些管理性的接口，比如创建topic、查询某个特定消息以方便排查问题，ClientConfig主要定义了一些基本的配置，比如持久化consumer端消费offset的间隔时间(offset就是consumer端当前消费到的位置，offset的持久化机制也决定了是exactlyonce还是根据时间戳等消费)，然后再
Java架构·2019-12-23 08:16

分布式服务（RPC）+分布式消息队列（MQ）面试题精选

程序员.jpg分布式消息队列（MQ）为什么使用MQ？异步处理-相比于传统的串行、并行方式，提高了系统吞吐量。应用解耦-系统间通过消息通信，不用关心其他系统的处理。流量削锋-可以通过消
叶落知深·2019-12-22 15:16

nsq源码剖析-nsqd(1)

现在开始nsq源码的阅读，nsq是一个分布式消息队列，源码短小精悍，其实我阅读它还有个人的一个原因就是想从中提取出他处理tcp连接的框架。看看最后能不能实现这个愿望。源码获取：nsq官网：ht
kekemuyu·2019-12-19 09:49

zookeeper概念知识

由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。
刺風·2019-12-13 09:22

如果有人再问你怎么实现分布式延时消息，这篇文章丢给他

1.本地延时在实现分布式消息队列的延时消息之前，我们想想我们平时是如何在自己的应用程序上实现一些延时功能的？
飒拉阿依酱·2019-12-09 15:32

面试精选：分布式服务（RPC）+分布式消息队列（MQ）

image.png分布式消息队列（MQ）为什么使用MQ？异步处理-相比于传统的串行、并行方式，提高了系统吞吐量。应用解耦-系统间通过消息通信，不用关心其他系统的处理。流量削锋-可以通
Java旺·2019-12-08 22:18

分布式消息队列高效部署及插件集群开发信息数据监控、分析实战

分布式消息队列高效部署及插件集群开发_腾讯视频目前不论是网络初创公司还是大型企业系统中。绝大多数应用程序的核心都有一个虚拟交换机，用于在服务器、程序和服务之间快速传递消息。
北风网IT教学·2019-12-07 03:27

kafka原理及主要流程+Flume

Kafka一、Kafka是一个分布式消息队列系统，以集群方式存在。优点：高吞吐率（每秒百万级）；基于多分区多副本实现高容错，并发能力强；易扩展（增加blocker）等。
_duangduang·2019-12-01 07:39

分布式服务（RPC）+分布式消息队列（MQ）面试题精选

分布式消息队列（MQ）为什么使用MQ？异步处理-相比于传统的串行、并行方式，提高了系统吞吐量。应用解耦-系统间通过消息通信，不用关心其他系统的处理。流量削锋-可以通过消息队列长度控制
java搬砖员·2019-11-29 17:00

一、zookeeper的工作机制

zookeeper的工作机制Zookeeper是分布式服务架构，是apachehadoop的一个子项目，主要是用来解决分布式应用中遇到的一下数据管理问题，如集群管理，统一命名服务，分布式配置管理，分布式消息队列
heypon·2019-11-28 10:44

rocketmq那些事儿之入门基础

分布式消息队列中间件作为高并发系统的核心组件之一，能够帮助业务系统解构提升开发效率和系统稳定性，其复杂性可见一斑，作为核心组件，有必要去深入了解学习前言分布式消息队列中间件主要具有以下优势：削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失
freeorange·2019-11-24 12:00

一、kafka--基本原理、环境搭建、api使用

[TOC]一、概述1.1什么是kafkaKafka是一个分布式消息队列，采用scala语言开发。
隔壁小白·2019-11-20 23:38

综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列

来源：http://t.cn/RVDWcfe一、资料文档Kafka：中。有kafka作者自己写的书，网上资料也有一些。rabbitmq：多。有一些不错的书，网上资料多。zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。rocketmq：少。没有专门写rocketmq的书，网上的资料良莠不齐，官方文档很简洁，但是对技术细节没有过多的描述。activemq：多。没有
陈晨辰·2019-11-07 23:09

Vcpkg新增MSBuild构建库示例

ZeroMQZeroMQ是一个分布式消息队列实现，C++的实现是libzmq。
长不胖的Garfield·2019-11-06 18:59

zookeeper

它公开了一组简单的基元，分布式应用程序可以利用这些基元来实现更高级别的服务，以实现配置维护、组服务、分布式消息队列、分布式通知/协调等。协调服务是非常难的。他们特别容易出现诸如竞争和僵局等错误。
Trouble_Ma·2019-11-05 09:30

Zookeeper简介(一)

由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。
PPB·2019-11-02 19:48

RabbitMQ实战：性能和安全

本系列是「RabbitMQ实战：高效部署分布式消息队列」书籍的总结笔记。
情情说·2019-10-31 21:28

十月阿里社招Java面试题：数据库+分布式+高并发+JVM+Spring

今天笔者为大家分享“阿里资深Java面试题”，分别是数据库、分库分表、分布式缓存、分布式服务框架、分布式消息队列、分布式搜索引擎、高并发高可用架构设计、JVM、Spring、算法、数据结构等阿里资深java
慕容千羽·2019-10-25 22:41

Kafka入门介绍

应用背景：目前Kafka在我所在部门做的是数据同步，如沈阳生成的数据要同步到北京集群，就需要这样的分布式消息队列。
时光格·2019-10-15 21:06

Kafka分布式消息队列的基本原理和使用

学习kafka一、简介kafka是一个分布式的消息队列，可以集群部署，消息队列的作用如下。kafka对消息保存时根据Topic进行归类。发送消息者称为Producer，消息接受者称为Consumer。kafka集群有多个kafka实例，每个实例称为broker。无论是kafka就集群，还是consumer都依赖于zookeeper集群保存一些meta信息，保证系统可用性。kafka的Topic是分
菜鸡儿的架构师之路·2019-10-12 11:48

Linux安装Kafka

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
请叫我头头哥·2019-10-05 22:00

消息中间件--Kafka(三)

Kafka是一个分布式消息队列。
无剑_君·2019-09-29 15:14

kafka原理学习笔记

一、kafka简介kafka是分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力，其最大的特性是高吞吐量、低延迟，可以几乎实时的处理大量数据。
有只怪好强·2019-09-29 09:56

看完这篇还不会kafka，我跪榴莲！

图片来自unsplash导读：Kafka是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。
Hadoop技术博文·2019-09-01 20:25

剖析nsq消息队列(一) 简介及去中心化实现原理

分布式消息队列nsq，简单易用，去中心化的设计使nsq更健壮，nsq充分利用了go语言的goroutine和channel来实现的消息处理，代码量也不大，读不了多久就没了。
li-peng·2019-08-30 15:00

RocketMQ和kafka基本认识以及应用场景

六、分布式消息队列RocketMQ与Kafka架构上的巨大差异之1--为什么RocketMQ要去除ZK依赖？参考一、rocketMQRocketMQ联合创始人：选择MQ时，要注意的有哪些？
西京刀客·2019-08-24 10:03

kafka的简介

1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
zhangqi00·2019-08-20 10:00

Github Gitee Java最热门开源项目 持续更新20190922

导航Java|SpringCloud|分布式任务调度|分布式监控链路追踪|分布式分库分表|分布式缓存|分布式事务|分布式熔断限流|分布式配置中心和注册中心|分布式消息队列|数据同步|搜索|CI/CD|系统应用
fengzhaoy·2019-08-18 22:12

大数据-Kafka

KafkaKafka（分布式消息队列），用来缓存数据同一个消费组下多个消费者互相协调消费工作，Kafka会将所有的分区平均地给所有的消费者实例，这样每个消费者都可以分配到数量均等的分区。
JP-Destiny·2019-08-17 00:39

Kafka之啥也没写

1Kafka概念一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。
YjxGVG·2019-08-17 00:00

【kafka】简介与运行原理

原文链接：https://www.jianshu.com/p/d3e963ff8b70简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。
孙文旭·2019-08-10 21:15

震惊了，原来这才是Kafka的“真面目”！

原文链接：https://www.jianshu.com/p/d3e963ff8b70 导读：Kafka是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。
msup789·2019-08-02 16:52

3.分布式消息队列-如何保证消息队列的高可用？

本系列引自自中华石杉，微信公众号石杉的架构笔记（id:shishan100）--------------------------------------------------面试题如何保证消息队列的高可用？面试官心理分析如果有人问到你MQ的知识，高可用是必问的。上一讲提到，MQ会导致系统可用性降低。所以只要你用了MQ，接下来问的一些要点肯定就是围绕着MQ的那些缺点怎么来解决了。要是你傻乎乎的就干
IT_搬运工·2019-07-29 15:02

8、分布式消息队列-如果让你写一个消息队列，该如何进行架构设计啊？说一下你的思路。

本系列引自自中华石杉，微信公众号石杉的架构笔记（id:shishan100）----------------------------------------------------------------面试题如果让你写一个消息队列，该如何进行架构设计？说一下你的思路。面试官心理分析其实聊到这个问题，一般面试官要考察两块：你有没有对某一个消息队列做过较为深入的原理的了解，或者从整体了解把握住一个消
IT_搬运工·2019-07-29 15:54

7、分布式消息队列-如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？

本系列引自自中华石杉，微信公众号石杉的架构笔记（id:shishan100）----------------------------------------------------------------面试题如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？面试官心理分析你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不
IT_搬运工·2019-07-29 15:12

6、分布式消息队列-如何保证消息的顺序性？

本系列引自自中华石杉，微信公众号石杉的架构笔记（id:shishan100）----------------------------------------------------------------面试题如何保证消息的顺序性？面试官心理分析其实这个也是用MQ的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。面试题剖析我举个例子
IT_搬运工·2019-07-29 15:27

5、分布式消息队列-如何保证消息的可靠性传输？（如何处理消息丢失的问题）

本系列引自自中华石杉，微信公众号石杉的架构笔记（id:shishan100）----------------------------------------------------------------面试题如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？面试官心理分析这个是肯定的，用MQ有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，
IT_搬运工·2019-07-29 15:34

4、分布式消息队列-如何保证消息不被重复消费？（如何保证消息消费的幂等性）

本系列引自自中华石杉，微信公众号石杉的架构笔记（id:shishan100）----------------------------------------------------------------面试题如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？面试官心理分析其实这是很常见的一个问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？
IT_搬运工·2019-07-29 14:36

分布式任务队列——celery+redis

一.基本信息参考：https://www.cnblogs.com/wdliu/p/9517535.html1.简介Celery是一个分布式消息队列，通常用来执行某些耗时操作和定时任务，支持异步任务调度。
空中追风sk·2019-07-27 18:47

CMQ——多线程实现自动拉取消息

腾讯云消息队列（CloudMessageQueue，CMQ）是一种分布式消息队列服务，它能够提供可靠的基于消息的异步通信机制，能够将分布式部署的不同应用（或同一应用的不同组件）之间的收发消息，存储在可靠有效的
mandy@i·2019-07-21 00:00

kafka 设计原理（震惊了！原来这才是kafka！）

原文：https://www.jianshu.com/p/d3e963ff8b70简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。
buyulian·2019-07-16 20:45

kafka学习文档

kafka参考资料kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。Kafka就是一种发布-订阅模式。
红豆泥333·2019-06-30 17:43

Springboot2整合kafka的两种使用方式

Springboot2整合kafkakafkadocker上安装环境Springboot2引入kafka基于注解基于客户端kafka是一个分布式消息队列。
冲动的仔bb·2019-06-23 23:06

分布式消息队列详解：3min搞懂同步和异步架构等问题

分布式消息队列是是大型分布式系统不可缺少的中间件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。
开悟班主任Abby·2019-06-06 16:45

基于2PC和延迟更新完成分布式消息队列多条事务Golang版本

背景分布式多消息事务问题在消息队列使用场景中，有时需要同时下发多条消息，但现在的消息队列比如kafka只支持单条消息的事务保证，不能保证多条消息，今天说的这个方案就时kafka内部的一个子项目中基于2PC和延迟更新来实现分布式事务2PC2PC俗称两阶段提交，通过将一个操作分为两个阶段：准备阶段和提交阶段来尽可能保证操作的原子执行(实际上不可能，大家有个概念先)延迟更新延迟更新其实是一个很常用的技术
仔仔·2019-05-18 00:00

Kafka简明教程

概述Kafka是一个分布式消息队列(MQ,Messagequeue)中间件，支持点对点(Quene)、发布订阅(Topic)模式。
飞鸿影·2019-05-11 14:00

kafka笔记整理

Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic（主题）进行归类，发送消息者称为Producer,消息接受者称为Consumer,此外
qq_36174081·2019-05-07 10:16

Kafka基本知识整理

首先Kafka是一个分布式消息队列中间件，Apache顶级项目，https://kafka.apache.org/高性能、持久化、多副本备份、横向扩展。
Eric zhou·2019-05-04 15:00

MQ消息队列(11) 分布式消息队列：如何保证消息不被重复消费（消息队列消费的幂等性）

怎么保证消息不被重复消费?（消息队列消费的幂等性）先大概说一说可能会有哪些重复消费的问题。首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后con
大神，快来碗里·2019-05-04 12:48

MQ消息队列(10) 分布式消息队列：如何保证消息的顺序性

来源：https://juejin.im/post/5c9b1c155188251d806727b2数据的顺序性（1）rabbitmq保证数据的顺序性如果存在多个消费者，那么就让每个消费者对应一个queue，然后把要发送的数据全都放到一个queue，这样就能保证所有的数据只到达一个消费者从而保证每个数据到达数据库都是顺序的。rabbitmq：拆分多个queue，每个queue一个consumer，
大神，快来碗里·2019-05-04 12:29
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他