BROKER

RocketMQ阅读笔记之路由中心NameServer

为什么会有NameServer消息中间件一般基于主题的订阅发布机制，消息生产者会发送某一主体（Topic）的消息到消息服务器（Broker）,消息服务器负责该消息的持久化存储，消息消费者订阅感兴趣的主题
九点半的马拉·2023-12-27 21:36

【Kafka中的leader选举】

文章目录Kafak集群中leader选举一、Kafka介绍1.Kafka的使用场景2.Kafka基本概念二.Kafka安装教程三.Kafka集群中leader节点的选举机制broker的leaderKafka
你有按下913的勇气吗·2023-12-27 14:25

docker部署rocketMQ-namesrv,rocketMQ-broker,rocketMQ-console

提示：以下所有操作均需要在docker环境安装完毕后进行目录1.拉取镜像(rocketmqinc/rocketmq),默认latest版本2.启动namesrv3.启动broker4.启动控制台1.拉取镜像
Mr_高仿程序员_zhang·2023-12-27 11:03

SpringBoot3 整合Kafka

.缓冲消息队列-Kafka1.消息模式消息发布订阅模式，MessageQueue中的消息不删除，会记录消费者的偏移量2.Kafka工作原理同一个消费者组里的消费者是队列竞争模式：Consumer1消费Broker
Please Sit Down·2023-12-27 08:30

KAFKA

【KAFKA】名词解释（1）Producer：消息生产者，就是向Kafkabroker发消息的客户端。（2）Consumer：消息消费者，向Kafkabroker取消息的客户端。
信仰啊QAQ·2023-12-27 07:30

[Kafka集群] 配置支持Brokers内部SSL认证\外部客户端支持SASL_SSL认证并集成spring-cloud-starter-bus-kafka

目录Kafka集群配置准备配置流程Jaas(JavaAuthenticationandAuthorizationService)文件zookeeper配置文件SSL自签名启动zookeeper集群启动kafka集群spring-cloud-starter-bus-kafka集成Kafka集群配置准备下载统一版本Kafka服务包至三台不同的服务器上文章使用版本为kafka_2.13-3.5.0.tg
Feeling Fine·2023-12-27 07:22

doris基本操作，03-导入数据-Broker Load

简述Brokerload是异步导入方式，支持的数据源取决于Broker进程支持的数据源。
车前猛跑·2023-12-27 05:46

docker-compose部署kafka

'bitnami/kafka:latest'ports:-'7050:7050'environment:-KAFKA_ENABLE_KRAFT=yes-KAFKA_CFG_PROCESS_ROLES=broker
坚持学习永不言弃·2023-12-26 23:36

基于电商场景的高并发RocketMQ实战-Raft协议的leader选举算法、Broker基于状态机实现的leader选举

【11来了】文章导读地址：点击查看文章导读！Raft协议的leader选举算法Raft协议是一种分布式一致性算法，用于解决分布式系统中的数据一致性问题。Raft协议将整个系统的状态分为3种角色：领导者leader、跟随者follower、候选者candidate那么通过Raft协议进行的leader选举算法流程如下：每个follower都会给自己设置一个150ms~300ms的随机倒计时时间第一个
11来了·2023-12-26 12:27

基于电商场景的高并发RocketMQ实战-读写分离主从漂移设计、Broker基于raft协议的主从架构设计

主节点过于繁忙时，返回给消费者一个从节点的brokerId，之后在从节点中拉取数据，当从节点拉取消息过程非常顺利的时候，此时又会返回给消费者一个br
11来了·2023-12-26 12:53

kafka 面试

但在生产环境中，建议还是保留Zookeeper，因为它在Kafka集群中担任着重要的角色，包括保存集群的元数据、broker
shumeigang·2023-12-26 10:58

基于电商场景的高并发RocketMQ实战-Broker写入读取流程性能优化总结、Broker基于Pull模式的主从复制原理

Broker写入读取流程性能优化总结Broker的物理存储结构主要是为了优化三个方面：写入、存储、读取写入优化：将消息数据写入到Commitlog中默认就是写入到了操作系统的pagecache中，通过mappedfile
11来了·2023-12-26 09:33

这么简单的环境搭建，网友：我却搭了很久，结果还是不行...

目录前言目录系统架构准备工具代理服务器客户端验证消息传递订阅主题发布主题系统架构通常我们需要这些东西；一个MQTT代理服务器（Broker），作为MQTT消息的中转；MQTT客户端，可以进行
小麦大叔·2023-12-26 08:09

系列六（实战）、发送 & 接收异步消息（Java操作RocketMQ）

一、发送&接收异步消息1.1、概述异步消息通常应用在对响应时间比较敏感的业务中，即发送端不能容忍长时间的等待Broker的响应，发送完成后会立即有一个异步消息通知。
YYAugenstern·2023-12-26 07:44

【RocketMQ】Console页面报错：rocketmq remote exception，connect to xxx failed.

分析正常一个broker会启动三个端口，不同版本的规律不太一样，4.X版本是：配置文件中的listenPortlistenPort-2listenPort+2查看配置文件，11911为broker的监听端口
喝不完一杯咖啡·2023-12-26 03:24

Pulsar详解2—架构和组件 & 安装和配置（示例：Go语言）

1.1Pulsar的整体架构Pulsar的整体架构包含多个关键组件，其中包括：Broker（代理）：Brokers是Pulsar的核心组件，负责接收、存储和传递消息。
风不归Alkaid·2023-12-26 02:27

RocketMQ之消费者启动与消费流程

RocketMQ主要由Producer、Broker、Consumer、NameServer四部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。Nam
vivo互联网技术·2023-12-25 23:23

RocketMQ学习笔记

使用场景:解耦、流量削峰、数据分发.部署架构:producer生产者与nameserver去连接建立连接,生产消息时是与broker连接,但只会向master发送消息consumer消费者与nameserver
Jewe刘·2023-12-25 23:53

【RocketMQ每日一问】broker会定时给ns发送心跳，那么心跳内容是什么样的？

RocketMQ中，Broker向NameServer发送的心跳信息主要包含以下内容：BrokerName：Broker的标识名称。
jianjun_fei·2023-12-25 23:47

RocketMQ高级原理：深入剖析消息系统的核心机制

一、基础概念：1.消息模型RocketMQ基于Producer、Broker、Consumer三部分构建。
光芒软件工匠·2023-12-25 21:24

黑客公布无数种攻击 Windows 的方法，对我们有什么影响

4月14日晚上，网络安全研究员余弦在23点16分发了一条朋友圈：方程式组织又被ShadowBrokers泄了一堆工具，都过去六个小时了，没人关注了呀。
weixin_33737774·2023-12-25 20:06

如何编写一个 Pulsar Broker Interceptor 插件

image.png而其中的关键的埋点信息是通过Pulsar的BrokerInterceptor实现的，后面就有朋友咨询这块代码是否开源，目前是没有开源的，不过借此机会可以聊聊如何实现一个BrokerInterceptor
crossoverJie·2023-12-25 19:45

Kafka、RocketMQ、RabbitMQ消息丢失可能存在的地方，以及解决方案

情况二：Broker存储消息丢失mq的master节点在接受到消息后，还没来得及同步给slave上面的follower
程序员中的吴彦祖·2023-12-25 17:30

flexiwan项目踩坑实践（后端篇）

flexiManage是以色列一家初创公司flexiWAN开源的基于SD-WAN平台的应用层的框架，包括flexiManage服务端框架，基于此服务端框架进行了一些借鉴和改进目录结构apibillingbinbrokercontrollersdeviceLogiclogginglogsmigrationsmodelsnotificationsperiodicpublicroutesserv
维李设论·2023-12-25 16:09

Kafka设计原理详解

Kafka核心总控制器(Controller)在Kafka集群中，通常会有一个或多个broker，其中一个会被选举为控制器(KafkaController)，其主要职责是管理整个集群中所有分区和副本的状态
光芒软件工匠·2023-12-25 14:42

安装Hadoop 3.3.5

Hadoop架构设计论述kafka依赖Zookeeper管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装Zookeeper。
IT WorryFree·2023-12-25 06:03

RabbitMQ如何做到不丢不重

目录MQTT协议如何保证消息100%不丢失生产端可靠性投递编辑RabbitMQ的Broker端投（1）消息持久化（2）设置集群镜像模式（3）消息补偿机制消费端ACK机制改为手动总结MQTT协议先来说下MQTT
PursueDreamZ·2023-12-25 06:58

[Suricata]结果写入kafka

目前是公司正在搞得项目,所以只说思路,具体代码就不贴了修改配置中的写出类型suricata.yaml配置中,修改eve.json的filetype为kafka,并在下面新增几个配置传入kafka的broker
LzSkyline·2023-12-25 03:41

kafka-安装与简单使用-01

与其他消息系统类似，整个系统由生产者、BrokerServer和消费者三部分组成，生产者和消费者由开发人员编写，通过API连接到BrokerServer进行数据操作。
伍六七_ba5e·2023-12-25 02:27

chromium通信系统-ipcz系统(六)-ipcz系统代码实现-跨Node通信-基础通信

我们以典型的broker和非broker通信的场景来分析。
TangGeeA·2023-12-24 21:40

Start kafka connect

启动kafkabroker先下载从官网下载kafkaconsole包，wget"https://archive.apache.org/dist/kafka/0.11.0.1/kafka_2.12-0.11.0.1
yehongyu_2018·2023-12-24 17:50

基于电商场景的高并发RocketMQ实战-NameServer内存中核心数据模型分析、内核级Producer发送消息流程

NameServer内存中核心数据模型分析NameServer中关键的数据模型结构如下：clusterAddrTable：存储Broker集群表，其中Broker01表示第一个Broker分组clusterAddrTable
11来了·2023-12-24 12:19

基于电商场景的高并发RocketMQ实战-Broker高并发消息写入、读写队列原理分析

Broker如何实现高并发消息写入Broker对消息进行写磁盘是采用的磁盘顺序写，写磁盘分为两种：顺序写和随机写，两种速度差别非常大！
11来了·2023-12-24 12:45

kubernetes集群 应用实践 kafka部署

kubernetes集群应用实践kafka部署零.1、环境说明零.2、kafka架构说明zookeeper在kafka集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四
师范大学通信大怨总·2023-12-24 11:58

【RabbitMQ】RabbitMQ详解(二)

SrpingBoot队列TTL延时队列TTL优化Rabbtimq插件实现延迟队列死信队列先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer将消息投递到broker
沉着的码农·2023-12-24 09:07

【Kafka集群架构设计原理】

文章目录一、Kafka的Zookeeper元数据梳理一、Kafka的Zookeeper元数据梳理1、zookeeper整体数据Kafka将状态信息保存在Zookeeper中，这些状态信息记录了每个Kafka的Broker
向前再向前·2023-12-24 07:35

RocketMq高性能核心原理

消息持久化RocketMQ消息采用磁盘文件保存消息，默认路径在${user_home}/store目录(可以在broker.conf中自行指定)主要三个文件1.CommitLog：存储消息的元数据。
小淘淘喵的主人·2023-12-24 06:49

【kafka】在linux中安装并简单部署使用

文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台
古枫桐·2023-12-24 05:35

基于电商场景的高并发RocketMQ实战-NameServer内存中核心数据模型分析、内核级Producer发送消息流程

NameServer内存中核心数据模型分析NameServer中关键的数据模型结构如下：clusterAddrTable：存储Broker集群表，其中Broker01表示第一个Broker分组clusterAddrTable
11来了·2023-12-24 04:01

基于电商场景的高并发RocketMQ实战-NameServer内核原理剖析、Broker 主从架构与集群模式原理分析

NameServer内核原理剖析NameServer是可以集群部署的，但是集群中的每台NameServer之间不会进行通信，这样的好处就是NameServer集群中每个节点都是对等的，其中一台挂了之后，对集群不会有影响Broker
11来了·2023-12-24 04:59

【Kafka架构及应用】

Kafka的架构和运行原理Kafka是一个分布式流处理平台，它由以下几个核心组件组成：Broker：Kafka集群中的一个节点，负责接收、存储和转发消息。
Oo_Amy_oO·2023-12-24 00:25

用Docker分分钟搭建起本地RocketMQ，实现最基础的收发消息。

参考原文：本地用docker快速搭建RocketMQ下载rocketmqdockerpullrocketmqinc/rocketmq:4.4.0配置文件-broker配置文件先想好你要把rocketmq
bulingbuling^_^·2023-12-23 12:27

rocketmq window测试小Demo 解决找不到或无法加载主类的问题

文章目录rocketMQ启动1.下在相关的二进制文件2.配置环境变量3.启动NameServer4.启动broker5.MQ启动！
微风轻吟挽歌·2023-12-23 10:28

11-Kafka

Reliability：以容错及持久化的方式存储数据记录流Scalable&Realtime1.1Kafka架构体系Kafka系统中存在5个关键组件ProducerConsumeKafkaClusterBroker
爱写代码的小男孩·2023-12-23 09:20

Kafka怎么保证消息发送不丢失

要保证消息不丢失，那么主要有三种解决方法：生产者（producer）保持同步发送消息服务器端（broker）持久化设置为同步刷盘消费者（consumer）设置为手动提交偏移量（offset）1.生产者（
.L.JIN.Jie·2023-12-23 07:04

RocketMQ 水平扩展及负载均衡详解

Broker端水平扩展Broker负载均衡Broker是以group为单位提供服务。
小陈阿飞·2023-12-23 04:47

RocketMQ的Docker镜像部署（以及Dashboard的部署、ACL配置）

RocketMQ的Docker镜像部署（以及Dashboard、ACL）准备包含RocketMQ部署（NameServer、Broker）、Dashboard、ACL拉取镜像RocketMQ$dockerpullapache
蒋含竹·2023-12-23 04:30

RocketMQ系统性学习-RocketMQ高级特性之消息存储的高效与刷盘策略、Broker 快速读取消息机制

【11来了】文章导读地址：点击查看文章导读！消息存储的高效与刷盘策略RocketMQ是通过文件进行存储消息的，那RocketMQ是如何保证存储的高效性的呢？首先是通过对磁盘进行顺序写可以保证高性能的文件存储：随机写速度10KB/s顺序写速度600MB/s（图片来源于网络）文件拷贝利用了零拷贝以及内存映射技术（MMP）通过使用零拷贝减少数据拷贝次数利用内存映射技术（MMP）可以像读写磁盘一样读写内存
11来了·2023-12-23 00:03

RocketMQ系统性学习-RocketMQ高级特性之文件恢复与 CheckPoint 机制

文件恢复与CheckPoint机制文件恢复的目的：让Broker重新启动之后，可以完成对flushedPosition、commitedWhere指针位置的设置，让程序可以知道上次写的位置，可以继续接收消息在上次写的位置之后继续写数据
11来了·2023-12-23 00:03

1.RocketMQ集群安装

每个Broker都向所有NameServer实例注册。（4）Broker：负责存储消息、转发消息。1.2、RockerMQ集群部署方式NameServer集群
不断学习的Java码农·2023-12-22 22:01
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他