rocketmq学习笔记

RocketMQ学习笔记

使用场景:解耦、流量削峰、数据分发.部署架构:producer生产者与nameserver去连接建立连接,生产消息时是与broker连接,但只会向master发送消息consumer消费者与nameserver去连接,消费消息时与broker去消费信息.根据偏移量来决定去master还是slave1拉取消息broker暂存和传输组件通过brokerName来形成集群,并通过brokerid区分,b
Jewe刘·2023-12-25 23:53

RocketMQ学习笔记-常用分布式环境问题解决方案

简介本章主要介绍大型互联网企业使用mq如何解决分布式环境下的常见问题image.pngrocketMQ确保消息不丢失rocketMQ可以在生产端生产消息的时候带上消息序号，并且序号是连续递增的。在消费端进行消费的时候可以使用分布式计数器（redis）来存储上一次处理成功的消息序号，每次进行消费到消息的业务逻辑处理时进行判断当前消息的序号是否符合预期（类似于cas算法）rockeMQ可以在发消息的时
jhon_11·2023-11-27 13:06

RocketMQ学习笔记（三）

集成SpringBoot基础配置org.springframework.bootspring-boot-starter-parent2.2.6.RELEASEorg.springframework.bootspring-boot-starter-weborg.springframework.bootspring-boot-starter-testtestorg.apache.rocketmqroc
枫叶梨花·2023-11-01 20:11

RocketMQ学习笔记

RocketMQ学习笔记一、下载安装1.1官网下载官网地址:http://rocketmq.apache.org下载地址：https://rocketmq.apache.org/download/1.2
神雕大侠mu·2023-10-12 04:33

RocketMQ学习笔记（二）

第六章RocketMQ生产者核心配置和核心知识讲解第1集消息队列RocketMQ4.X生产者核心配置讲解简介：消息队列RocketMQ4.X核心配置讲解生产者常见核心配置compressMsgBodyOverHowmuch：消息超过默认字节4096后进行压缩retryTimesWhenSendFailed:失败重发次数maxMessageSize:最大消息配置，默认128ktopicQueueNu
daiyuenlong110·2023-09-20 23:47

RocketMQ学习笔记

一、RocketMQ简介ocketMQ在阿里内部叫做Metaq（最早名为Metamorphosis，中文意思变形记，是作家卡夫卡的中篇小说代表作，可见是为了致敬Kafka）。RocketMQ是Metaq3.0之后的开源版本。Metaq在阿里巴巴集团内部、蚂蚁金服、菜鸟等各业务中被广泛使用，接入了上万个应用系统中。并平稳支撑了历年双十一大促（万亿级的消息），在性能、稳定性、可靠性等方面表现出色，在整
你可以叫我仔哥呀·2023-07-25 00:21

RocketMQ学习笔记（实操篇）

目录基本操作启动测试双主双从集群搭建总体架构工作流程服务器环境Host添加信息防火墙配置环境变量配置创建消息存储路径broker配置文件修改启动脚本文件服务启动查看进程状态查看日志mqadmin管理工具使用方式命令介绍集群监控平台搭建消息样例基本样例顺序消息延时消息批量消息过滤消息事务消息基本操作启动启动RocketMQ#1.启动NameServernohupshbin/mqnamesrv.
Cat凯94·2023-07-16 14:03

RocketMQ学习笔记（基础篇）

目录RocketMQ简介单Master模式多Master模式多Master多Slave模式（异步）多Master多Slave模式（同步）双主双从集群事务消息事务消息发送及提交事务补偿事务消息状态RocketMQ高级功能消息存储存储介质消息的存储和发送消息存储消息存储结构刷盘机制高可用性机制消息消费高可用消息发送高可用消息主从复制负载均衡Producer负载均衡Consumer负载均衡集群模式广播模
Cat凯94·2023-07-16 14:30

RocketMQ学习笔记，一文弄懂相关知识与概念

RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。RocketMQ架构图RocketMQ部署结构图一、NameServerNameServer可以看做是RocketMQ的注册中心【为什么不用开源注册于发现中心，例如zk，nacos等】；它管理两部分数据：集群的Topic-Queue的
袁锅锅·2023-06-17 12:04

RocketMQ学习笔记

目录前言1RocketMQ概述1.1MQ概述1.1.1MQ简介1.1.2MQ用途1.1.3常见MQ产品1.1.4MQ常见协议1.2RocketMQ概述1.2.1简介1.2.2RocketMQ发展历程2RocketMQ的安装与启动2.1基本概念2.1.1消息（Message）2.1.2主题（Topic）2.1.3标签（Tag）2.1.4队列（Queue）2.1.5消息标识（MessageId/Key
赤脚的我·2023-04-19 11:21

RocketMQ学习笔记（二）

安装可视化界面RocketMQ有一个对其扩展的开源项目rocketmq-externals，该项目中有一个子模块叫rocketmq-console，是一个管理控制台的项目。下载整个扩展项目并编译打包子项目：gitclonehttps://github.com/apache/rocketmq-externalscdrocketmq-console#修改rocketmq-console中配置names
dev_winner·2023-04-08 23:03

RocketMQ学习笔记（六）

架构设计1技术架构RocketMQ架构上主要分为四部分，如上图所示:Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消
selt791·2023-04-05 03:46

RocketMQ学习笔记

1.RocketMQ简述RocketMQ是阿里巴巴在2012年开源的分布式消息中间件，目前已经捐赠给Apache基金会，已经于2016年11月成为Apache孵化项目，相信RocketMQ的未来会发挥着越来越大的作用，将有更多的开发者因此受益。1.1消息队列（MessageQueue）的好处：a.解耦生产者和消费者可以独立发布服务，不会导致线上异常和数据丢失；b.可恢复性MQ通常具有重试机制，而且
zhglance·2023-03-28 03:35

RocketMQ学习笔记（一）

数据结构：先进先出的队列。其应用场景主要有3个方面：应用解耦：系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，若耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。使用消息队列解耦合，系统的耦合性就会大大降低了。比如物流系统发生故障，需要几分钟才能修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中
dev_winner·2023-01-29 23:09

RocketMQ学习笔记

第一章深入剖析高性能RocketMQ4.X实战课程概要第1集互联网架构之深入剖析高性能RocketMQ4.X实战课程介绍简介：深入剖析高性能RocketMQ4.X实战简介、适用人群和学习基础愿景："让编程不在难学，让技术与生活更加有趣"更多教程请访问xdclass.net第二章JMS介绍和消息中间件核心知识第1集JMS消息服务介绍和使用场景简介：讲解什么是JMS，消息队列的使用场景什么是JMS:J
daiyuenlong110·2022-08-30 08:07

rocketmq学习笔记

Producer延迟容错策略：生产者在发送message时会根据一定的策略选取一个消息通道，然后将消息发送到对应的broker上，默认情况下（RoundRobin），TopicPublishInfo会维护一个计数器（ThreadLocal中）,当producer需要发送时，会根据计数器（mod通道数量）选择一个queue，消息发送失败时会以当前计数器的位置开始找到下一个可用的queue，如果当前t
一个坏人_9c31·2022-05-05 21:08

RocketMQ学习笔记（三）

消息存储：因为分布式队列有高可靠性的要求，所以数据要进行持久化存储。消息生产到消费的整个流程：消息生产者发送消息到MQ；MQ收到消息，将消息持久化，在存储中新增一条记录；返回ACK给生产者；MQpush消息给对应的消费者，然后等待消费者返回ACK；若消息消费者在指定时间内成功返回ack，则MQ认为消息消费成功，在存储中删除消息，即执行第6步；否则认为消息消费失败，会尝试重新push消息，重复执行第
dev_winner·2021-07-18 16:55

RocketMQ学习笔记

RocketMQ集群部署示意图image.pngbroker实际消息处理服务端默认端口：109111、Broker面向producer和consumer接受和发送消息；2、向nameserver提交自己的信息；3、是消息中间件的消息存储、转发服务器；4、每个Broker节点，在启动时，都会遍历NameServer列表，与每个NameServer建立长连接，注册自己的信息，之后定时上报。namesr
e1d61ce75de2·2021-06-13 15:23

RocketMQ学习笔记(二)相识篇

踩的一点点小坑如果你没配置环境变量，那么请到RocketMQ的bin目录下启动nameServer和broker。虽然命令可能没报错，但是你发现就是启动不起来，说来惭愧，搞这个问题，研究了一个下午。另外RocketMq所依赖的jdk路径是Oralce的JDK，之前我的linux服务器装的是OpenJDK，试了好久，发现就是启动不起来，暂时没找到解决方案，只好卸载OpenJDK。主从同步主从同步和集
北冥有只鱼·2020-11-15 14:53

RocketMQ学习笔记(一) 初遇篇

在MQ引论中，我已经介绍了MQ的一些概念和用处，没看过的可以先看一下。这次我选择介绍的是RocketMQRocketMQ的概念一图胜千言，都在图里了。从上面的图，我们可以看出主题是一类消息的集合，每条消息必须属于一个主题。RocketMQ中的每个消息拥有唯一的MessageID，且可以携带具备业务标识的key，当然你也可以选择不给。标签(tag)是更细一级的划分，用于同一主题下区分不同类型的消息。
北冥有只鱼·2020-10-11 16:07

RocketMQ学习笔记（一）eclipse版的quickstart

学而时习之，不亦说乎！自己搭建个学习用的RocketMQ总是很麻烦，需要虚拟机环境，网络，需要安装rocketmq，启动。时间久了再去看，又不知道这个虚拟机是干嘛的了。直接在eclipse中启动，简单省事，用的时候启动，用完关掉就行了。先看下图，给还没开始的你一点信心。RocketMQ官网：http://rocketmq.apache.org/源码：https://github.com/apach
weixin_33766168·2020-09-17 02:41

RocketMQ学习笔记（2）----Broker的集群四种方式

RocketMQ推荐了几种Broker集群方式，这里的Slave不可写，但可读，类似于Mysql主备方式1.单个Master这是一种风险比较大的集群方式，因为一旦Borker重启或宕机期间，将会导致这个服务不可用，因此是不建议线上环境去使用的。2.多个Master一个集群全部都是Master，没有Slave,它的优点和缺点如下：优点：配置简单，单个Master宕机或者是重启维护对应用没有什么影响的
Teddies10081008·2020-08-17 08:35

rocketmq学习笔记 ---- 使用shell脚本自动启动RocketMQ

由于公司每天需要关闭测试服务器，所以每天上班的第一件事就是启动测试服务器上的服务。作为一名程序员，这种程序化事情最好可以由程序来执行。1、rc.local中启动打开文件/etc/rc.local，在文件末尾追加写入启动命令：exportJAVA_HOME=/usr/local/jdkROCKETMQ_HOME=/app/rocketmqnohupsh$ROCKETMQ_HOME/bin/mqnam
wenyuan65·2020-08-17 04:34

rocketmq学习笔记 ---- NameServer

博客从RocketMQ我们学到了什么之NameServer以邮局的功能作为类比，通俗易懂地介绍了RocketMQ中的NameServer在整个框架中的作用。而本篇文章，是以源码阅读笔记的形式，记录学习RocketMQ的过程。启动流程首先，NameServer的启动类为org.apache.rocketmq.namesrv.NamesrvStartup，方法的流程很简单：1.读取配置。从启动命令中读
wenyuan65·2020-08-17 04:34

rocketmq学习笔记

1.rocketMqmqmessageQuence消息队列作用:解耦流量削峰处理数据问题:一致性可用性复杂性2.mq产品比较特性avtiveMQRabbitMQRocketMQkafka开发语音javaerLangjavascala单机吞吐量万级万级10w10w时效性msusmsms可用性高(主从架构)高(主从架构)非常高(分布式)非常高(分布式)功能特性比较成熟,文档多性能好扩展性好大数据应用3
white_bird_shit·2020-08-15 04:09

RocketMQ学习笔记【一】RocketMQ简介

一、为什么选用RocketMQ目前主流的MQ有RocketMQ、Kafka、RabbitMQ、ActiveMQ等，那么开发者应该如何选用合适的MQ中间件呢？（面试官可能也会问为什么你们公司使用某个MQ）。个人觉得以下几个方面都是在MQ选择需要考虑的：1、目前来看，每种MQ都有自身的优缺点，要结合这些MQ的特性比对我们的实际业务场景，选出最适合业务的。有的业务可能追求高吞吐量，可靠性要求低一些，比如
灵颖桥人·2020-08-11 17:30

RocketMQ学习笔记（1）----RocketMQ的简介

1.什么是RocketMQ？是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。Producer、Consumer、队列都可以分布式。Producer吐一些队列轮流収送消息，队列集合称为Topic，Consumer如果做广播消费，则一个consumer实例消费返个Topic对应的所有队列，如果做集群消费，则多个Consumer实例平均消费返个topic对应的队列集合。能够保证严格的
Teddies10081008·2020-08-11 16:07

RocketMQ学习笔记

1、MQ的好处：异步处理，应用解耦，高峰限流最常见2、RocketMQ基本概念介绍：1）NameServer集群：注册中心，每个NameServer之间没有任何数据交互2）broker集群：a）真主存储数据的地方，其中的topic，queue可以找到对应的文件夹。b）同brokerName的broker节点归为一组，brokerId为从0开始逐个递增，其中brokerId为0的是master，其余
两岸猿·2020-07-10 14:57

Rocket MQ 学习

RocketMQ学习笔记rocketmq是一款分布式，队列模型的开源消息件。
Dream·2020-07-08 21:17

RocketMQ学习笔记总结

MQ种类消息中间件KafkaRocketMQ✔RabbitMQActiveMQRocketMQ集群环境的搭建2m-2s双主双从名称描述Nameserver注册服务，并不存储数据。Broker存储消息数据Message、Topic、TopProducer消息生产者Consumer消息消费者需要掌握消息发送类别同步消息异步消息单向消息需要掌握消息类型顺序消息，实现方式：根据唯一标识选择队列延迟消息，实
大猫猫猫猫猫·2020-07-04 18:07

RocketMQ学习笔记(一) 初识

介绍分布式消息队列是用来高效传输消息的。RocketMQ由四个部分组成。类比于邮政系统，邮政系统：由发件人，收件人，负责暂存和传输的邮局，和负责管理各个邮局的管理机构四个部分组成；RocketMQ相应地对应于Producer,Consumer,Broker和NameServer四部分组成。Producer:消息生产者，负责产生消息，一般由业务系统负责产生消息Consumer:消息消费者，负责消费消
yubuyun·2020-07-01 05:37

RocketMQ学习笔记

RocketMQ是什么Github上关于RocketMQ的介绍：RcoketMQ是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性：支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型在一个队列中可靠的先进先出（FIFO）和严格的顺序传递支持拉（pull）和推（push）两种消息模式单一队列百万消息的堆积能力支持多种消息协议，如JMS、MQTT等分布式高可用的部署架构,满足至少
whoami2019·2020-06-30 21:37

RocketMQ学习笔记

RocketMQ是什么Github上关于RocketMQ的介绍：RcoketMQ是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性：支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型在一个队列中可靠的先进先出（FIFO）和严格的顺序传递支持拉（pull）和推（push）两种消息模式单一队列百万消息的堆积能力支持多种消息协议，如JMS、MQTT等分布式高可用的部署架构,满足至少
whoami2019·2020-06-30 21:36

apache-rocketmq 学习笔记

apache-rocketmq学习笔记环境准备本文使用的机器为centos7maven版本为3.6.1jdk版本1.8.0_11RocketMq概念解读Producer:消息生产者ProducerGroup
小书go·2020-06-26 04:50

学习笔记 | 消息队列--RocketMQ学习笔记

序言本文是RocketMQ学习及使用过程中整理的笔记，主要是个人觉得很关键或者是需要加深理解部分知识的纪录，主要涉及RocketMQ基本概念、部署结构、消息相关知识等，可以做入门资料阅读消息队列应用场景异步处理将不是必须的业务逻辑进行异步处理应用解耦应用之间的交互采用消息队列可以很好的减少彼此的依赖，一个应用崩溃不会影响整个服务流量削峰比较常见于秒杀和团购直接丢弃或者延后处理消息通讯应用很单纯，就
LY丶Smile·2020-06-24 03:06

RocketMQ学习笔记（5）----RocketMQ监控平台rocketmq-console-ng的搭建

1.下载rocketmq-console-ng官网地址：https://github.com/apache/rocketmq-externals拉下来之后，使用idea打开rocketmq-console，在application.properties配置文件中修改rocketmq.config.namesrvAddr(前面集群环境下的nameserver的ip:port)，如下：rocketmq
Teddies10081008·2020-06-22 06:08

RocketMQ学习笔记（14）----RocketMQ的去重策略

1.ExactlyOnlyOnce(1).发送消息阶段，不允许发送重复的消息(2).消费消息阶段，不允许消费重复的消息。只有以上两个条件都满足情况下，才能认为消息是“ExactlyOnlyOnce”，而要实现以上两点，在分布式系统环境下，不可避免要产生巨大的开销。所以RocketMQ为了追求高性能，并不保证此特性，要求在业务上进行去重，也就是说消费消息要做到幂等性。RocketMQ虽然不能严格保证
Teddies10081008·2020-06-22 06:37

rocketMQ学习笔记一：RocketMQ安装部署

文章目录一、环境要求二、下载、构建三、启动NameServer四、启动Broker五、发送和接收消息六、启动rocketmq-console控制台七、mqadmin使用八、关闭服务官网链接:rocketmq-apache-org一、环境要求推荐64bitOS,Linux/Unix/Mac;（32位会有问题，用64位系统少采坑）64bitJDK1.8+;Maven3.2.x;Git;4g+freed
GNG·2020-06-21 07:04

rocketMQ学习笔记二：RocketMQ-Console安装、使用详解

文章目录一、rocketmq-console介绍二、rocketmq-console下载、部署三、控制台的使用1.切换语言为简体中文2.切换namesrvAdd3.集群4.主题1.状态2.发送消息5.消息6.消息轨迹一、rocketmq-console介绍  RocketMQ-Console是RocketMQ项目的扩展插件，是一个图形化管理控制台，提供Broker集群状态查看，Topic管理，Pr
GNG·2020-06-21 07:04

RocketMQ学习笔记

RocketMQRocketMQ概念模型Producer:消息生产者，负责产生消息，一般由业务系统负责产生消息Consumer:消息消费者，负责消费消息，一般由后台系统负责异步消费PushConsumer:Consumer的一种，需要向Consumer对象注册监听PullConsumer:Consumer的一种，需要主动请求Broker拉取消息ProducerGroup:生产者集合，一般用于发送一
云中谁寄锦书来00·2020-04-02 16:37

RocketMQ学习笔记(一) 初识RocketMQ

目录1MQ 1.1MQ简介 1.2MQ的缺点 1.3主流消息队列比较2RocketMQ入门 2.1环境搭建 2.2安装和启动 2.3目录介绍 2.4控制台安装3RocketMQ集群搭建 3.1RocketMQ集群 3.2集群搭建方式  3.2.1集群特点  3.2.2集群模式 3.3双主双从集群搭建  3.3.1总体架构  3.3.2集群工作流程  3.3.3服务器环境  3.3.4添加Host信
TiaNa_na·2020-03-15 04:48

RocketMQ学习笔记(二) RocketMQ高级技术

一、消息存储分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。流程：(1)消息生成者发送消息；(2)MQ收到消息，将消息进行持久化，在存储中新增一条记录；(3)返回ACK给生产者；(4)MQpush消息给对应的消费者，然后等待消费者返回ACK；(5)如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为
TiaNa_na·2020-03-12 23:32

RocketMQ学习笔记

前言本文章内容参考自RocketMQ系统精讲，经受历年双十一狂欢节考验的分布式消息中间件，对已有内容进行修改，精简部分内容，并且使用spring-cloud-starter-stream-rocketmq来代替B站视频中的spring-boot集成包。修改后的个人完整demo地址：github1.MQ介绍1.1为什么要用MQ消息队列是一种“先进先出”的数据结构其应用场景主要包含以下3个方面应用解耦
·Tiger·2019-12-24 10:00

RocketMQ学习笔记——Hello World

为什么要使用RocketMQ这个问题也可以是为什么要使用消息队列，一个东西的诞生，必然是业务的需要。消息队列的主要作用有：削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题）系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死）提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统）比较容易理解的作用有秒杀系统，当大量请求涌入的时候，可以用
LittleWhite9527·2019-03-26 14:50

RocketMQ学习笔记四之【DefaultMQPullConsumer使用与流程简单分析】

我们首先看下DefaultMQPullConsumer使用例子：packagecom.swk.springboot.rocketmq;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importjava.util.Set;importorg.apache.rocketmq.client.consumer.Defaul
孙_悟_空·2019-01-05 21:55

RocketMQ学习笔记三之【DefaultMQPushConsumer流量控制】

上一节我们已经把DefaultMQPushConsumer的大体流程分析了一下，从这节开始我们分析一部分消息处理的细节问题。继续在DefaultMQPushConsumerImpl的pullMessage方法中有个ProcessQueue，待会我们来分析这个队列的作用。publicvoidpullMessage(finalPullRequestpullRequest){finalProcessQu
孙_悟_空·2018-12-24 23:45

RocketMQ学习笔记二之【DefaultMQPushConsumer使用与流程原理分析】

版本:        org.apache.rocketmq    rocketmq-client    4.3.0 首先看下DefaultMQPushConsumer使用示例：packagecom.swk.springboot.rocketmq;importjava.util.List;importorg.apache.rocketmq.client.consumer.DefaultMQPush
孙_悟_空·2018-12-23 00:44

RocketMq学习笔记之一【常用操作命令与简单配置】

【为什么使用RocketMq】1、应用解耦2、流量削峰3、消息分发4、保证最终一致性5、方便动态扩容【RocketMq的角色】producerconsumerBrokerNameServerbroker配置文件：#nameServer地址，分号分割namesrvAddr=192.168.100.131:9876;192.168.100.132:9876#所属集群的名字brokerClusterNa
孙_悟_空·2018-12-18 23:57

RocketMQ学习笔记（16）----RocketMQ搭建双主双从（异步复制）集群

原文链接：http://www.cnblogs.com/Eternally-dream/p/9961218.html1.修改RocketMQ默认启动端口由于只有两台机器，部署双主双从需要四个节点，所以只能修改rocketmq的默认启动端口，从官网下载rocketmq的source文件，解压后使用idea打开，全局搜索9876，将所有使用9876端口的地方改为9877。在终端打开，使用：mvn-Pr
Teddies10081008·2018-11-15 00:00

RocketMQ学习笔记（2）----Broker的集群四种方式

原文链接：http://www.cnblogs.com/Eternally-dream/p/9925747.htmlRocketMQ推荐了几种Broker集群方式，这里的Slave不可写，但可读，类似于Mysql主备方式1.单个Master这是一种风险比较大的集群方式，因为一旦Borker重启或宕机期间，将会导致这个服务不可用，因此是不建议线上环境去使用的。2.多个Master一个集群全部都是Ma
aihuzhu8250·2018-11-07 21:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他