Broker

Kafka（四）Broker

目录1配置Broker1.1Broker的配置broker.id=0listererszookeeper.connectlog.dirslog.dir=/tmp/kafka-logsnum.recovery.threads.per.data.dir
yunyun1886358·2024-01-07 10:32

【源码解析】Apache RocketMQ发送消息源码

大部分人只知道通过sendmessage方法可以将消息发送到broker，然后供消费者进行消费。
serendipitabition·2024-01-07 08:52

RocketMQ源码分析----Producer队列选择与容错策略

的文章里大概讲了一下Producer如何为高可用贡献出一份力量的，当时只是说了遍历列表选择队列，然后选择一个，没有深入分析，这篇文章深入分析一下其源码，首先从发送消息选择队列的代码开始：StringlastBrokerName
_六道木·2024-01-07 04:44

【问题记录】celery启动报错

问题记录celery启动后报错：CPendingDeprecationWarning:Thebroker_connection_retryconfigurationsettingwillnolongerdeterminewhetherbrokerconnectionretriesaremadeduringstartupinCelery6.0andabove.Ifyouwishtoretainthe
tyty2211·2024-01-07 00:40

【问题记录】获取celery任务状态报错 - AttributeError: ‘DisabledBackend‘ object has no attribute ‘_get_task_meta_for

DisabledBackend'objecthasnoattribute'_get_task_meta_for'解决方案使用app.AsyncResult()，而不是AsyncResult(id)app=Celery('mytasks',broker
tyty2211·2024-01-07 00:40

【问题记录】celery连接redis报错：invalid password

执行时报错：使用其他系统连接测试，发现密码正确，可以连接，但是celery一执行就报错问题原因在翻了多个资料后找到了问题所在，redis的密码前需要添加:，否则报错解决方案在redis密码前添加:，问题解决BROKER_URL
tyty2211·2024-01-07 00:38

JMS消息发送

目录概述1.搭建JMS环境2.使用JmsTemplate发送消息3.接收JMS消息概述JMS是一个Java标准，定义了使用消息代理(messagebroker)的通用API,在2001年提出。
duration～·2024-01-06 22:42

RocketMQ基本概念

基本概念1消息模型（MessageModel）RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker
浅夏哥·2024-01-06 16:52

centos 7.9安装RocketMQ4.6.1版本

unziprocketmq-all-4.6.1-bin-release.zip3.修改JVM配置进到/datadrive/rocketmq-all-4.6.1-bin-release/bin下编辑runserver.sh与runbroker.sh
猿小飞·2024-01-06 15:49

经典八股文之RocketMQ

broker在启动时向所有nameserver注册。生产者在发送消息之前先从NameServer获取Broker服务器地址列表(消费者一样)，然后根据负载均衡算法从列表中选择一台服务器进行消息发送。
在下uptown·2024-01-06 11:14

服务器CentOs8 安装RocketMQ 4.9.4

unziprocketmq-all-4.9.4-bin-release.zip移动到新的文件夹mv/rocketmq-all-4.9.4-bin-release/rocketmq修改配置修改conf下的broker.conf
豆沙睡不醒·2024-01-06 09:45

Kafka安全认证机制详解之SASL_SCRAM

SASL/SCRAM通过将认证用户信息保存在ZooKeeper的方式，避免了动态修改需要重启Broker的弊端。在实际使用过程中，可以使用Kafka提供的命令动态地创建和删除用户，无需重启整个集群。
4935同学·2024-01-06 08:43

RocketMQ源码 Producer生产者源码架构分析

前言消息生产者MQproducer即消息的生产发送方，主要负责将生产方产生的消息投递到Broker节点。
虚空小白·2024-01-06 08:10

RocketMQ源码 发送消息源码分析

前言DefaultMQProducer是默认生产者组件，是生产者客户端中，绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。
虚空小白·2024-01-06 08:37

python 异步任务框架 Celery 入门，速看！

它有几个主要的概念：celery应用用户编写的代码脚本，用来定义要执行的任务，然后通过broker将任务发送到消息队列中broker代理，通过消息队列在客户端和worker之间进行协调。
测试小鬼·2024-01-06 02:34

Kafka 如何保证消息不丢失？

关于“Kafka如何保证消息不丢失”这个问题一、面试解析（如图）kafka是一个用来实现异步消息通信的中间件，它的整个架构由Producer、Consumer、Broker组成。
浮生带你学Java·2024-01-05 21:46

Springboot整合RocketMQ 基本消息处理

org.apache.rocketmqrocketmq-spring-boot-starterYAML配置rocketmq:name-server:localhost:9876#rocketMq的nameServer地址1.同步消息同步消息是发送消息后等待Broker
山河亦问安·2024-01-05 20:36

javaweb项目开发案例

前言我们说Kafka是一个消息队列，其实更加确切的说：是Broker这个核心部件。为何这么说？
HUAXIAL·2024-01-05 20:02

04、Kafka ------ CMAK 各个功能的作用解释（Cluster、集群、Broker、位移主题、复制因子、领导者副本、主题）

目录启动命令：CMAK的用法★在CMAK中添加Cluster★在CMAK中查看指定集群★在CMAK中查看Broker★位移主题★复制因子★领导者副本和追随者副本★查看主题启动命令：1、启动zookeeper
_L_J_H_·2024-01-05 20:56

SpringBoot 集成 RabbitMQ

RabbitMQ名词Broker:它提供一种传输服务,它的角色就是维护一条从生产者到消费者的路线，保证数据能按照指定的方式进行传输,。vhost:虚拟主机,一个broker里可以有多个
Listening_Wind·2024-01-05 16:35

RocketMQ初探-2不同消息种类的使用

不同消息种类的使用消息分类基本样例顺序消息广播消息延迟消息批量消息过滤消息事务消息关于消费者ConsumeFromWhere属性的理解消息分类基本样例顺序消息广播消息延迟消息批量消息过滤消息事务消息基本样例消息生产者消息消费者顺序消息背景：对于不同生产者以先后顺序发送的消息，到达broker
卟啉亮的小博客·2024-01-05 15:00

面试题：Kafka 为什么那么快？

文章目录前言（1）生产端ProducerProducer生产者发送消息的流程（2）服务端Broker1）PageCache加速消息读写2）Kafka的文件布局以及磁盘文件顺序写入3）零拷贝sendfile
xuxu1116·2024-01-05 12:14

RabbitMQ

一、RabbitMQ整体架构：image.pngimage.pngimage.png组成部分说明如下:Broker:标识消息队列服务器实体【消息队列服务进程】，此进程包括两个部分Exchange和Queue
网恋被骗600万·2024-01-05 12:52

初识Kafka与生产者

6.生产者的发送方式、序列化器、分区器、拦截器简单介绍(包括顺序消费的实现、broker的发现）：1什么是KafkaKafka是一
就这些吗·2024-01-05 11:20

rocketMq broker主从复制(HA策略)

rocketmq为了保证高可用，可以为一个masterbroker添加一个或多个slavebroker，这样就可以在一个broker宕机后，不至于影响分布式消息队列的工作。
圣村的希望·2024-01-05 08:40

CentOs搭建Kafka集群

Centos7搭建Kafka集群一、集群规划二、环境准备三、安装kafka集群1、下载kafka安装包2、解压3、配置环境变量4、编辑配置文件①修改broker.id②配置kafka运行日志路径③配置Zookeeper
GreaterBuilder·2024-01-05 08:23

Doris系列2-Doris编译和安装

一.编译前准备1.1环境准备主机配置:IP主机名部署10.31.1.119hp5FEFS_Broker10.31.1.120hp6BEFS_Broker10.31.1.121hp7BEFS_Broker
只是甲·2024-01-04 19:09

kafka的基本框架概览

image.pngProducer：消息生产者，向kafkabroker发消息的客户端Consumer：消息消费者，向kafkabroker取消息的客户端ConsumerGroup（CG）：消费者组，由多个
sxh不是帅小伙·2024-01-04 15:11

k8s部署rocketmq单节点（server+broker+console）—— 筑梦之路

之前写过几篇关于rocketmq构建双架构镜像、docker-compose部署的文章，接上篇docker-compose部署rocketmq，这里记录下k8s下如何部署。多架构环境下docker-compose部署rocketmq单机模式——筑梦之路-CSDN博客nameserver节点apiVersion:apps/v1kind:StatefulSetmetadata:name:rocketm
筑梦之路·2024-01-04 03:11

springboot整合websocket实现聊天室对话

org.springframework.bootspring-boot-starter-websocket2.配置WebSocket创建一个配置类，继承AbstractWebSocketMessageBrokerConfigurer
还得是你大哥·2024-01-04 03:37

【RocketMQ每日一问】RocketMQ5.0POP消费模式如何实现的?

我们知道RocketMQ原来有两种消费模式：Pull模式消费和Push模式消费，其中Push模式指的是Broker将消息主动“推送”给消费者，它的背后其实是消费者在不断地Pull消息来实现类似于Broker
jianjun_fei·2024-01-04 01:59

【RocketMQ每日一问】RocketMQ延迟消息是怎么实现的?

Broker接收消息并根据延迟级别存储在特定的延迟队列中。（SCHEDULE_TOPIC_XXXX）定时任务（时间轮里的任务）定期扫描延迟队列，将到期的消息转移到正常的消费队列。
jianjun_fei·2024-01-04 01:29

【Kafka源码】处理请求

newKafkaApis(socketServer.requestChannel,replicaManager,groupCoordinator,kafkaController,zkUtils,config.brokerId
端木轩·2024-01-04 00:28

Kafka集群部署

在Kafka集群(Cluster)中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。
Minority·2024-01-03 21:18

RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件源码分析

前言BrokerFastFailure快速失败处理组件，主要负责，在系统激活broker快速失败能力时，以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理：消息存储组件中的请求。
虚空小白·2024-01-03 20:52

RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件源码分析

前言ConsumerFilterManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责，对在消费者拉取消息时，进行消息数据过滤，且只针对使用表达式过滤的消费者有效。源码版本：4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白·2024-01-03 20:51

RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件源码分析

前言SubscriptionGroupManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本：4.9.3源码架构图核心数据结构主要的数据结构比较简单，维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件源码分析

前言FilterServerManager负责维护过滤服务器长连接与过滤服务器信息映射关系，并且内部有定时调度线程，不断检查过滤服务器实际数量和配置数量是否一致，如果不一致，就根据配置构建命令行命令，执行命令启动FilterServer过滤服务器进程。过滤服务器实例，是RockerMQ的高级功能，复制支持更复杂的过滤条件。源码版本：4.9.3源码架构图核心数据结构//过滤服务器管理组件public
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-BrokerStatsManager Broker统计管理组件源码分析

前言BrokerStatsManager主要负责对broker端的系统指标进行统计，如QUEUE_GET_NUMS队列获取数量、QUEUE_GET_SIZE队列获取大小指标的分钟、小时、天级别的统计数据
虚空小白·2024-01-03 20:21

RocketMQ源码 NameServer启动流程源码分析

在启动Namesrv的过程中会创建NamesrvController控制器，并初始化一些核心组件RouteInfoManager路由信息管理组件、NettyRemotingServer网络通信服务器组件、BrokerHousekeepingService
虚空小白·2024-01-03 20:21

RocketMQ源码 创建Topic流程源码分析

它内部实现是通过mqClient工具从NameServer拉取当前Topic对应的路由元数据信息，解析遍历和当前topic有关的broker高可用分组集合，找到分组中的master主节点，然后依次对broker
虚空小白·2024-01-03 20:47

RocketMQ5.0延时消息时间轮算法

前言RocketMQ相较于其它消息队列产品的一个特性是支持延时消息，也就是说消息发送到Broker不会立马投递给消费者，要等待一个指定的延迟时间再投递，适用场景例如：下单后多长时间没付款系统自动关闭订单
程序员小潘·2024-01-03 19:40

Rasa中的tracker_store和event_broker

  Rasa中的tracker_store相对主流为Redis，event_broker相对主流为RabbitMQ。
NLP工程化·2024-01-03 09:17

docker-compose一键部署rocketmq

/start.sh访问浏览器localhost:8180注意如果你的微服务或者项目在开发的时候没有放入docker中或者与rocketmq容器不能直接用IP访问，那么请把broker.conf中的
XYLANCC·2024-01-02 01:21

PiflowX组件-ReadFromUpsertKafka

Unbounded组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”无是逗号分隔的Kafkabroker
暗影八度·2024-01-01 23:06

PiflowX组件-WriteToUpsertKafka

StreamingUpsertMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”无是逗号分隔的Kafkabroker
暗影八度·2024-01-01 23:05

springboot+websocket+sockjs进行消息发送

org.springframework.bootspring-boot-starter-websocket2.1.6.RELEASE2.添加websocket配置类@Configuration@EnableWebSocketMessageBrokerpublicclassWebSocketConfigimplementsWebSocketMessageBrokerConf
旧约98·2024-01-01 22:25

2.4 实现体系结构

OMG尝试使用MDA统一其拥有的两大主要独立技术：（CommonObjectRequestBrokerArchitecture,CORBA）和UML。
Let's Chat Coding·2023-12-31 21:44

3、RocketMQ基础-RocketMQ集群搭建

RocketMQ集群搭建各角色介绍Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例
站得高看得远·2023-12-31 16:35

SpringAMQP的使用方式

也就是事件驱动架构中的Broker。
Winter.169·2023-12-31 07:51
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他