rocketmq集群搭建

【RocketMQ每日一问】RocketMQ延迟消息是怎么实现的?

生产者发送消息时带上延迟级别。Broker接收消息并根据延迟级别存储在特定的延迟队列中。（SCHEDULE_TOPIC_XXXX）定时任务（时间轮里的任务）定期扫描延迟队列，将到期的消息转移到正常的消费队列。消费者从正常的消费队列中获取并消费消息。
jianjun_fei·2024-01-04 01:29

【RocketMQ每日一问】RocketMQ SQL92过滤用法以及原理?

1.生产端publicclassSQLProducer{publicstaticintcount=10;publicstaticStringtopic="xiao-zou-topic";publicstaticvoidmain(String[]args){DefaultMQProducerproducer=MQUtils.createLocalProducer();IntStream.range(
jianjun_fei·2024-01-04 01:26

深入理解Mysql MHA高可用集群搭建：从实验到实战

1.简介MHA（MasterHighAvailability）是一个高效的开源MySQL高可用性解决方案。由日本开发者yoshinorim（前DeNA员工，现在Facebook）创建，MHA支持MySQL的主从复制架构，自动化主节点故障转移。当主节点发生故障，MHA能迅速将最新数据的从节点升级为新主节点。这个过程中，MHA从其他从节点获取额外信息，确保数据一致性。MHA还能在线切换主节点，按需调整
光芒软件工匠·2024-01-03 22:21

RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件源码分析

前言BrokerFastFailure快速失败处理组件，主要负责，在系统激活broker快速失败能力时，以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理：消息存储组件中的请求。如果消息存储组件中的OSPageCacheBusy（系统页缓存繁忙）为true，则对它的请求循环进行快速失败处理。清理发送线程池队列中的过期请求。清理拉取线程池队列中的过期请求。清理心跳线程池队列中的过期请
虚空小白·2024-01-03 20:52

RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件源码分析

前言ConsumerFilterManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责，对在消费者拉取消息时，进行消息数据过滤，且只针对使用表达式过滤的消费者有效。源码版本：4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白·2024-01-03 20:51

RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件源码分析

前言SubscriptionGroupManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本：4.9.3源码架构图核心数据结构主要的数据结构比较简单，维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件源码分析

前言FilterServerManager负责维护过滤服务器长连接与过滤服务器信息映射关系，并且内部有定时调度线程，不断检查过滤服务器实际数量和配置数量是否一致，如果不一致，就根据配置构建命令行命令，执行命令启动FilterServer过滤服务器进程。过滤服务器实例，是RockerMQ的高级功能，复制支持更复杂的过滤条件。源码版本：4.9.3源码架构图核心数据结构//过滤服务器管理组件public
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-BrokerStatsManager Broker统计管理组件源码分析

前言BrokerStatsManager主要负责对broker端的系统指标进行统计，如QUEUE_GET_NUMS队列获取数量、QUEUE_GET_SIZE队列获取大小指标的分钟、小时、天级别的统计数据。它针对的所有指标都是使用后台定时调度线程，对统计条目中的数据进行后台统计计算，存储在统计条目中的对应集合里，以便使用。源码版本：4.9.3源码架构图核心数据结构最核心的是维护了一个数据统计tabl
虚空小白·2024-01-03 20:21

RocketMQ源码 NameServer启动流程源码分析

前言RocketMQ在启动Namesrv的过程中会创建NamesrvController控制器，并初始化一些核心组件RouteInfoManager路由信息管理组件、NettyRemotingServer
虚空小白·2024-01-03 20:21

RocketMQ源码 创建Topic流程源码分析

前言MQAdminImplMQ管理组件提供了大量对mq进行管理的工具，其中一个就是创建Topic。它内部实现是通过mqClient工具从NameServer拉取当前Topic对应的路由元数据信息，解析遍历和当前topic有关的broker高可用分组集合，找到分组中的master主节点，然后依次对broker主节点发送创建topic请求。broker高可用分组的主节点收到请求后，将topic元数据存
虚空小白·2024-01-03 20:47

RocketMQ5.0延时消息时间轮算法

前言RocketMQ相较于其它消息队列产品的一个特性是支持延时消息，也就是说消息发送到Broker不会立马投递给消费者，要等待一个指定的延迟时间再投递，适用场景例如：下单后多长时间没付款系统自动关闭订单
程序员小潘·2024-01-03 19:40

HDFS重温

今天被问到分布式，有些忘记，查资料回忆起分布式集群构建，现在重温集群搭建过程费话不多说，来个简图NameNode：HDFS群集包含单个NameNode（主服务器），它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995·2024-01-03 18:18

RockerMQ的事务消息发送

RocketMQ的事务消息发送根据样例来看，发送事务消息采用了以下流程1.TransactionListener给事务打标记2.TransactionProducer.sendMessageInTransaction
peipei巴比·2024-01-03 17:36

centos7上的rocketmq安装

一、rocketmq安装详情可以查看rocketmq的官方网站:rocketmqofficalsite1.下载rocketmq的二进制包版本我们这里使用的是4.3.2下载链接：下载链接2.为rocketmq
大风过岗·2024-01-03 10:57

SpringBoot3集成RocketMQ

引入依赖：org.apache.rocketmqrocketmq-spring-boot-starter${rocketmq-spring-boot-starter.version}编辑配置文件，NameServer
数据驱动生活·2024-01-03 10:40

RocketMQ消息丢失问题

同步消息要同步刷盘才完成一次消息发送，一般不会消息丢失，但会增加一定的延迟。异步消息异步刷盘，先将消息存于缓冲区，达到一定大小才进行刷盘，存在消息丢失风险。实际开发中一般使用异步消息，为防止消息丢失通常自己对消息进行持久化：日志记录在文件或记录数据库等。生产者发送消息后将消息记录在MySQL并添加状态，消费者处理完消息后更新MySQL中消息的状态，最后通过定时任务将设定时长内未消费的消息进行补发避
数据驱动生活·2024-01-03 10:40

Redis专题(持续更新)

03-VIP-Redis缓存高可用集群文章目录03-VIP-Redis缓存高可用集群正文1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建3、Java操作redis集群4、Redis
Player·2024-01-03 09:56

kubeadm来快速搭建一个K8S集群

二进制的搭建更适合50台主机以上的大集群，kubeadm更适合中小型企业的集群搭建主机节点IP组件master20.0.0.61docker、kubeadm、kubelet、kubectl、flannelnode0120.0
，老六·2024-01-03 07:55

spring cloud alibaba 组件版本关系 以及 毕业版本依赖关系

版本及其自身所适配的各组件对应版本（经过验证，自行搭配各组件版本不保证可用）如下表所示（最新版本用*标记）：SpringCloudAlibabaVersionSentinelVersionNacosVersionRocketMQVersionDubboVersionSeataVersion2.2.7
IT祖师爷·2024-01-02 21:41

基于电商场景的高并发RocketMQ实战-促销活动推送千万级用户解决方案【多线程+分片推送实现高性能推送】

欢迎关注公众号（通过文章导读关注），发送【资料】可领取深入理解Redis系列文章结合电商场景讲解Redis使用场景、中间件系列笔记和编程高频电子书！【11来了】文章导读地址：点击查看文章导读！首先介绍一下发布促销活动的整体业务流程：运维人员操作页面发布促销活动判断促销活动是否和以往活动发布重复先将促销活动落库发布【促销活动创建】事件消费者监听到【促销活动创建】事件，开始对所有用户推送促销活动由于用
11来了·2024-01-02 17:38

Apache Hive详解

目录一、引入Hive简介为什么要使用HiveHive的特点Hive的发展历程二、Hive架构体系三、MySQL安装安装准备安装卸载（了解）四、Hive集群搭建准备工作安装过程五、Hive的MySQL元数据库与表六
毫无感情的dj·2024-01-02 07:06

【深入浅出RocketMQ原理及实战】「云原生升级系列」打造新一代云原生“消息、事件、流“统一消息引擎的融合处理平台

打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台云原生架构RocketMQ的云原生架构实现RocketMQ的云原生发展历程互联网时期的诞生无法支持云原生的能力云原生阶段的升级云原生升级方向促进了
洛神灬殇·2024-01-02 07:58

基于电商场景的高并发RocketMQ实战-初版营销系统设计方案、千万级用户分片+批量推送方案、惰性发券

欢迎关注公众号（通过文章导读关注），发送笔记可领取Redis、JVM等系列完整pdf！【11来了】文章导读地址：点击查看文章导读！初版营销系统设计方案对营销系统，主要有以下几个任务：搞促销活动，对全员用户/部分用户进行推送发优惠券，给全员用户/部分用户发券给所有用户每天推送热门商品，吸引用户首先，营销系统初版的一个功能流程如下图：营销系统中的几个任务的共性：需要对大量的用户数据进行一个任务处理，而
11来了·2024-01-02 01:09

docker-compose一键部署rocketmq

案例版本4.8.0gitclonehttps://github.com/foxiswho/docker-rocketmq.gitcddocker-rocketmqcdrmqchmod+xstart.sh
XYLANCC·2024-01-02 01:21

论最强IO：MappedByteBuffer VS FileChannel

最近一直在研究MQ，开源社区中有很多高性能MQ：kafka、RocketMQ、ActiveMQ，抛开网络传输方式、数据结构设计、文件存储方式...等因素。
布道·2024-01-01 18:59

ceph集群搭建到应用从入门到熟练，包含块存储、对象存储、cephfs的应用、cephx认证等

ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。ceph理论知识略…ceph集群实验环境服务器主机public网段IP（对外服务）cluster网段IP（集群通信）角色deploy192.168.2.120用于部署集群、管理集群ceph-node1192.168.2.121192.168.6.135ceph-mon、c
绝恋96·2024-01-01 14:50

KAFKA、RABBITMQ、ROCKETMQ等消息中间件的介绍和对比

现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。
公号：java高级架构师·2024-01-01 10:18

Kafka、RabbitMQ、RocketMQ等 消息中间件 介绍和对比

3.1、Kafka3.2、RabbitMQ3.3、RocketMQ4、测试4.1、测试目的4.2、测试场景4.2.1、Kafka4.2.2、RocketMQ4.2.3、RabbitMQ4.3、测试结论5
weixin_30559481·2024-01-01 10:17

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比 侵删

现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。
心神沫沫·2024-01-01 10:47

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比

现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。
lxw1844912514·2024-01-01 10:14

RocketMQ如何保证消息被有序消费

RocketMQ如何保证消息被有序消费消费者端如何接收有序消息队列消费的两种模式并发消费模式当同一类消息被送入不同队列，且这些消息在处理上并不需要按时序消费时，可以考虑使用并发消费模式。
帅喵·2024-01-01 09:43

Docker：Docker集群配置与应用(Docker Swarm)

DockerSwarm集群1.1为什么要使用容器集群1.2什么是Swarm集群1.3DockerSwarm特性1.4Swarm节点1.5Swarm集群管理命令Swarm集群节点管理命令1.6DockerSwarm集群搭建前言可以认为
boy快快长大·2024-01-01 08:55

RocketMQ（Linux版本5.1.4）

1、停止之前的运行服务[root@tssvr1-c1rocketmq-all-4.7.0-bin-release]#shbin/mqshutdownnamesrvNomqnamesrvrunning.
晚霞山空静·2024-01-01 07:58

java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

hadoop-2.8.4包内的bin文件替换，将下载文件中hadoop.dll放到C：\Windows\System32下解决办法：1.下载hadoop，去官网下载对应的hadoop版本，我在linux集群搭建的是
Sql强·2024-01-01 04:35

程序员如何基于Docker方式搭建MongoDB集群

具体用法，可以参考菜鸟教程《MongDB教程》,这里就不做详细描述在这里我们主要是讲述基于Docker的Mongo集群搭建。在早期的项目开发中，一般都是采用单个数据库去存储数据，这是一种很危险的举动。
程序员xysam·2024-01-01 00:03

【mongoDB】MongoDB 4.X 用户和角色权限管理总结

使用Docker一键部署MongoDBhttps://blog.csdn.net/u011104991/article/details/81735960DockerMongoDBv4.0.0集群搭建https
Bogon·2023-12-31 22:30

redis集群搭建详解

一、主从复制1、准备两台机器2、设置主从3、验证4、复制原理二、哨兵Sentinel1、配置2、启动哨兵一、主从复制#查看信息inforeplication127.0.0.1:6379>inforeplication#Replicationrole:master#当前为主角色connected_slaves:0#是否拥有从角色机器master_failover_state:no-failoverm
mapyking·2023-12-31 20:49

深度剖析 Kafka/RocketMQ 顺序消息的一些坑

我们都知道无论是Kafka还是RocketMQ，每个主题下面都有若干分区（RocketMQ叫队列），如果消息被分配到
fumi106·2023-12-31 19:14

玩转MYSQL|详细分析mysql-MGR集群搭建

目录1、简介2、环境准备2.1数据库服务器规划2.2安装mysql5.7.202.3设置hostname和ip映射3、创建复制环境3.1服务器host68.cn3.1.1配置/etc/my.cnf3.1.2服务器host68.cn上建立复制账号：3.1.3在mysql服务器host68.cn上安装groupreplication插件3.1.4启动服务器host68.cn上mysql的groupre
Jum朱·2023-12-31 18:32

3、RocketMQ基础-RocketMQ集群搭建

RocketMQ集群搭建各角色介绍Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例
站得高看得远·2023-12-31 16:35

Docker搭建mysql主从复制集群

Docker搭建mysql主从复制集群搭建步骤准备docker镜像dockersearchmysqldockerpullmysql准备映射路径#master路径准备mkdir-m777/Users/a1
whhwch1986·2023-12-31 16:59

k8s集群搭建【1个master_1个node】 亲测成功！

k8s集群搭建k8s_1个master_1个node_集群搭建步骤小结1:安装docker2:安装kubeadm/kubectl/kubelet3:创建master节点的集群(并安装网络插件calico
优雅のbug·2023-12-31 15:45

Kafka集群详解

Kafka介绍Kafka集群介绍Kafka集群特点Kafka集群搭建在这里插入图片描述Kafka集群如何进行故障切换Kafka集群Leader的选举Kafka集群如何快速横向拓展Kafka集群搭建最佳实践
有梦想的攻城狮·2023-12-31 10:00

TimescaleDB分布式集群搭建

Multi-nodeTimescaleDBallowsyoutotieseveraldatabasestogetherintoalogicaldistributeddatabasetocombinetheprocessingpowerofmanyphysicalPostgreSQLinstances.Oneofthedatabasesexistsonanaccessnodeandstoresmet
pigcoffee·2023-12-31 09:15

RocketMQ源码详解 | Producer篇 · 其二：消息组成、发送链路

概述在上一节RocketMQ源码详解|Producer篇·其一：Start，然后Send一条消息中，我们了解了Producer在发送消息的流程。
en_oc·2023-12-31 09:14

Canal的学习

Canal基本概念整合SpringBoot基本概念Canal是一个基于MySQL数据库增量日志解析，提供增量数据订阅和消费，支持将增量数据投递到下游消费者（如Kafka、RocketMQ等）或者存储（如
kk变色龙13·2023-12-31 08:08

zookeeper集群搭建超详细教程

这里写目录标题前言详细步骤1、下载安装包2、解压3、修改配置文件4、将zookeeper目录分发到其他节点5、修改其他节点的myid文件6、编写操作zookeeper集群的脚本7、启动集群8、连接zookeeper集群结尾前言大家好，我是风云，欢迎大家关注我的博客，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！正如大家知道的那样，在大数据领域呢，有很多组件都会依赖zo
笑看风云路·2023-12-31 08:25

zookeeper 集群搭建

1.依赖该教程依赖已经准备好的linux环境，请先查看：LINUX集群环境准备2.下载和解压点击下载tar-zxvfapache-zookeeper-3.8.0-bin.tar.gz-C/opt/modulecd/opt/modulemvapache-zookeeper-3.8.0-binzookeeper-3.8.03.配置3.1.创建集群唯一标识准备一个数据文件夹，并创建节点唯一标识myidc
被遗忘的优雅·2023-12-31 08:54

Zookeeper集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-12-31 08:53

zookeeper之集群搭建

1.集群角色zookeeper集群下，有3种角色，分别是领导者(Leader)、跟随着(Follower)、观察者(Observer)。接下来我们分别看一下这三种角色的作用。领导者(Leader)：事务请求（写操作）的唯一调度者和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create、setData、delete等有写操作的请求，则要统一转发给leader处理，leader
瑜伽娃娃·2023-12-31 08:52
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他