E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Broker
消息队列技术选型:这 7 种消息场景一定要考虑!
1普通消息消息队列最基础的功能就是生产者发送消息、
Broker
保存消息,消费者来消费消息,以此实现系统解耦、削峰填谷的作用。普通消息是消息队列必备的消息类型,也是系统使用场景最多的一种消息。
君哥聊技术
·
2023-10-06 21:39
消息队列
技术选型
Kafka
RocketMQ
RabbitMQ
Pulsar
rocketmq源码③-Producer的启动、发送消息、路由
broker
添加了注释的源码https://github.com/WangTingYeYe/rocketmq_source前提介绍:一定要先看前面的几篇文章,了解rocketmq的基本概念和架构设计之后再看本篇Producer分类Producer有两种。一个是普通发送者DefaultMQProducer。这个只需要构建一个Netty客户端。还一个是事务消息发送者:TransactionMQProducer。这
七层汉堡王
·
2023-10-06 18:17
RocketMq源码解析
RocketMQ
kafka初体验基础认知部署
Kafk消息系统由多个**
broker
(服务器)组成,这些
broker
可以在多个数据中心之间分布式部署,以提供高可用性和容错性
七层汉堡王
·
2023-10-06 18:16
kafka
分布式
展豪说1-40d
展豪说(1-40d)day1文章:《原来这才是kafka》链接:https://www.jianshu.com/p/d3e963ff8b70说明:对kafka架构讲解很清晰,对
broker
、topics
小豪学习之路
·
2023-10-06 12:54
go
Kafka 搭建过程
分布式:Kafka集群由多个服务器(
Broker
)组成,数据会被分布存储。持久性
翔云123456
·
2023-10-06 08:51
分布式
Kafka
运维
kafka
分布式
运维
rabbitmq学习笔记
基础概念基础架构图:borker:负责接收和分发消息的应用,一个RabbitMQServer就是Message
Broker
VirutalHost:出于多租户和安全因素设计的,把AMQP的基本组件拆分到一个虚拟的分组中
肯定不吃番茄啊
·
2023-10-05 22:58
java-rabbitmq
rabbitmq
学习
Rabbitmq学习笔记
1.2四大概念生产者交换机队列消费者1.3核心部分简单模式工作模式发布订阅模式路由模式主题模式发布确认模式
Broker
就是Rabbi
hashmap0818
·
2023-10-05 22:55
mq
java-rabbitmq
rabbitmq
学习
大厂生产环境的RocketMQ都是这样部署的
集群模式1、单Master模式这种部署方式的风险比较大,一旦
Broker
宕掉,就会导致整个服务不可用,一般只在开发环境为了节约资源的时候使用,线上环境非常不建议使用。2、多Master模式这种模式会
故里学Java
·
2023-10-05 12:04
DirectKafkaInputDStream源码分析(包含动态分区感知)
先上一个官网的栗子:objectDirectKafkaWordCount{defmain(args:Array[String]){if(args.length
broker
s)valmessages=KafkaUtils.createDirectStream
有梦想的人不睡觉_4741
·
2023-10-04 23:21
kafka知识与理解
文章目录背景为什么需要kafka,mysql行不行常识生产者流程zookeeper与kafkakafka
broker
的增加和删除
broker
故障
broker
重要参数调优副本位置分配消费者消费者offset
rookie19_HUST
·
2023-10-04 23:13
大数据
开发
kafka
分布式
RabbitMQ - RabbitMQ交换机;事务;发送、接收消息
它支持符合要求的客户端应用(application)和消息中间件代理(messagingmiddleware
broker
)之间进行通
MinggeQingchun
·
2023-10-04 21:27
rabbitmq
分布式
java
一篇文章带你弄懂Kafka基本原理
zk和Kafka二、Kafka生产者1、基本原理介绍2、Kafka的异步发送3、生产者分区原理4、提高生产者吞吐,发送能力5、生产者数据可靠性6、生产者数据去重7、消息有序8、数据乱序三、Kafka的
broker
1
卒获有所闻
·
2023-10-04 17:00
kafka
分布式
大数据
后端
中间件
RabbitMQ概念总结
核心概念:
broker
,channel,messagemessage组成:properties+body,properties修饰优先级高级特性exchange:接收消息,根据路由建转发消息到绑定队列,
qq_35989848
·
2023-10-04 15:48
中间件
RabbitMQ
RabbitMQ|RabbitMQ的总结
RabbitMQRabbitMQ概念RabbitMQ简介:核心概念MessagePublisherExchangeQueueBindingConnectionChannelConsumerVirtualHost
Broker
markuszhang
·
2023-10-04 15:17
队列
分布式
RabbitMQ核心总结
server:又称
broker
,接受客户端连接,实现AMQP实体服务。connection:连接和具体
broker
网络连接。
爱琴孩
·
2023-10-04 15:17
mq
AMQP
RabbitMQ
Celery使用:优秀的python异步任务框架
Celery通过消息机制进行通信,通常需要中间人(
Broker
)和工作者(Wor
coder Ethan
·
2023-10-04 08:23
python后端开发功能实战
python
rabbitmq
开发语言
RocketMQ 的使用
一、RocketMQ简介1.1、组件概念NameServer:RocketMQ的注册中心,管理集群的Topic-Queue的路由配置、
Broker
的实时配置信息。
JunSouth
·
2023-10-04 08:15
rocketmq
RocketMq源码之
Broker
启动分析
简介本文用来剖析rocketmq
broker
相关逻辑,以便了解
broker
启动时做了哪些事;启动类
Broker
Startup启动方法是create
Broker
Controller,具体流程:解析启动参数
奔跑地蜗牛
·
2023-10-04 07:30
RocketMq的负载均衡
就是一个注册中心,存储当前集群所有
Broker
s信息、Topic跟
Broker
的对应关系。Namesrv用于存储Topic、
Broker
关系信息,功能简单,稳定性高。
Patrick_e604
·
2023-10-04 05:33
MQTT 服务器搭建(基于mosquitto)
Mosquitto是用C语言实现MQTT协议的
Broker
。
东皇※太一
·
2023-10-03 22:52
MQTT
mqtt
broker
mosquitto
服务器
【Kafka专题】Kafka集群架构设计原理详解
目录前言前置知识课程内容一、Kafka的Zookeeper元数据梳理1.1zookeeper整体数据1.2Controller
Broker
选举机制1.3LeaderPartition选举机制1.4LeaderPartition
验证码有毒
·
2023-10-03 08:42
tuling学院学习笔记
kafka
rocketmq-4.4.0从零单排(3.架构拆解)
1、rocketmq模块划分rocketmq模块划分2、rocketmq模块具体含义ack:mq的确认机制实现
broker
:消息中间件核心,即消息代理client:我们所用到的客户端filter:消息传递过程中的过滤机制
费列罗与小明
·
2023-10-03 06:16
从 0 到 1 ,手把手教你编写《消息队列》项目(Java实现) —— 创建项目 / 创建核心类
二、创建核心类交换机:Exchange队列:Queue绑定关系:Binding消息:Message这些核心类都存在于
Broker
Server中.先创建出服务器与客户端的包.再在服务器中创建core包,用来存
究极无敌代码大王
·
2023-10-02 23:17
项目实战
java
开发语言
spring
java-ee
后端
spring
boot
mybatis
Celery
通过消息进行通信,使用消息队列(
broker
)在客户端和消费者之间进行协调。架构如下:任务队列任务队列是一种跨线程、跨机器工作的一种机制.任务模块包含异步任务和定时任务。
大金叶子
·
2023-10-02 22:34
【RocketMQ】【源码】Dledger日志复制源码分析
消息存储在【RocketMQ】消息的存储一文中提到,
Broker
收到消息后会调用CommitLog的asyncPutMessage方法写入消息,在DLedger模式下使用的是DLedgerCommitLog
S_H-A_N
·
2023-10-02 21:31
RocketMQ
java-rocketmq
rocketmq
java
使用celery实现短信验证码的异步发送
第一步操作当然是安装:pipinstallcelery新建一个celery文件夹(包),包含任务,配置,主函数(启动)文件1.首先编写配置文件,如:config.py
broker
_url="redis:
yiyllong
·
2023-10-02 18:50
Kafka连接服务器出现:Connection to node 1 (localhost/127.0.0.1:9092) could not be established.
在服务器本地可以使用命令行参数连接并且进行发布订阅操作,但是在外网环境就不可以了,SpringBoot连接报错:Connectiontonode1(localhost/127.0.0.1:9092)couldnotbeestablished.
Broker
maynotbeavailable
gurlan
·
2023-10-02 07:59
Kafka之Docker部署Kafka kraft集群
最近趁着有空想复习一下Kafka原理,之前学的是Kafka1.9的版本,需要Zookeeper作为基础,专门存放Kafka的元数据使用,如
Broker
、Consumer、Topic等;但下载的时候发现Kafka
Genterator
·
2023-10-02 04:35
Kafka从入门到放弃
kafka
docker
史上最便捷搭建RocketMQ服务器的方法
从github上面拉取项目修改
broker
.conf中的
broker
IP1参数,修改为本机IP进入docker-compose.yml文件所在路径,执行docker-composeup命令即可前言首先
不学无数的程序员
·
2023-10-02 04:27
11 无消息丢失配置
什么是已提交的消息kakfa若干年
broker
成功收到一条消息并写入日志文件后,会告诉生产者程序这条消息已经成功提交。
ZyyIsPig
·
2023-10-01 15:52
kafka核心技术与实战
kafka
如何解决:ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝,无法连接。
发现主要问题在于
broker
没有打开,可以下载emqx进行
broker
启动。
LionelMessi7
·
2023-10-01 15:06
Postgres
Nginx
MQTT
python
mqtt
Kafka集群架构设计原理详解
文章目录1、zookeeper整体数据2、Controller
Broker
选举机制1、zookeeper整体数据Kafka将状态信息保存在Zookeeper中,这些状态信息记录了每个Kafka的
Broker
Tacy0213
·
2023-10-01 14:33
MQ
kafka
分布式
Starrocks数据导入方式
dev/install/standard-deployment下图为各类数据导入Starrocks方式可以通过语句:SELECT*FROMinformation_schema.loads来查看[SHOW
BROKER
zxf126126
·
2023-10-01 12:42
Starrocks
大数据
StarRocks调优 -
Broker
Load导入
Broker
Load是StarRocks离线导入方式,用于将存储在HDFS、S3、OSS等外部存储的数据导入到StarRocks,支持CSV、ORCFile、Parquet等文件格式,适用于几十GB到上百
Asware
·
2023-10-01 12:39
数据仓库
数据仓库
大数据之kafka集群部署
单机多
broker
一.在单独服务器部署zookeeper,kafka1.复制config/server.properties为server-1.propeties,并进行如下修改[root@centos6kafka
weixin_42874480
·
2023-10-01 12:02
大数据
kafka
分布式
RocketMQ学习教程:08.消费者Rebalance机制【云图智联】
本文深入的分析了RocketMQ的Rebalance机制,主要包括以下内容:Rebalance必要的元数据信息的维护
Broker
协调通知机制;消费者/启动/运行时/停止时Rebalance触发时机单个Topic
云图智联IT教育
·
2023-10-01 11:13
Kafka(一)使用Docker Compose安装单机Kafka以及Kafka UI
文章目录Kafka中涉及到的术语Kafka镜像选择KafkaUI镜像选择DockerCompose文件Kafka配置项说明KRaftvsZookeeper和KRaft有关的配置关于Controller和
Broker
JackSparrow414
·
2023-10-01 05:39
消息队列
kafka
docker
大数据
消息队列
事件流
RocketMQ Consumer接收消息流程
1.初始化 上一节讲Rebalance时提到,Consumer接受客户端有两种方式:
Broker
发现客户端列表有变化,通知所有Consumer执行RebalanceConsumer定时每20秒自动执行Rebalance
程序猿啊驼
·
2023-10-01 02:24
kakfa 订阅模式与赋予模式
当topic的partition或者
broker
发生变化时,会发生rebalance,即重新选择consum
raindaywhu
·
2023-09-30 21:24
RocketMQ Dashboard说解
RocketMQDashboard是RocketMQ的管控利器,为用户提供客户端和应用程序的各种事件、性能的统计信息,支持以可视化工具代替Topic配置、
Broker
管理等命令行操作。
Doker 多克 技术人的数码品牌
·
2023-09-30 21:38
RocketMQ
rocketmq
了解ActiveMQ、RabbitMQ、RocketMQ和Kafka的特点
ActiveMQActiveMQ是一种基于JMS(Java消息服务)规范的消息中间件,由Apache基金会开发和维护核心组件和特点:
Broker
(代理):ActiveMQ的核心组件是
Broker
,它负责接收
林杜雨都
·
2023-09-30 19:05
RabbitMQ
activemq
rabbitmq
rocketmq
认识消息
Broker
什么是消息
Broker
?
林杜雨都
·
2023-09-30 19:35
RabbitMQ
rabbitmq
Redis介绍及入门安装及使用
介绍及入门安装及使用什么是RedisRedisisanopensource(BSDlicensed),in-memorydatastructurestore,usedasadatabase,cacheandmessage
broker
.Itsupportsdatastructuressuchasstrings
MegaSlark
·
2023-09-30 14:02
Kafka 进阶:Producer &
Broker
& Consumer
消息成功写到topic后,
broker
会返回producer消息的topic,partition&theoffsetoftherecordwithinthepartition。
63e29c663713
·
2023-09-30 14:05
【KAFKA】浅谈Kafka数据可靠性保证
首先我们知道在Kafka中一台kafka服务器就是一个
broker
。一个
broker
可以容纳多个topic。一个topic可以分为多个partition。
SmallScorpion
·
2023-09-30 12:50
温故而知新
kafka
分布式
java
docker-compose安装rocketmq 5
conf、logs、store三个目录mkdir-p/usr/local/rocketmqcd/usr/local/rocketmq&&mkdir{conf,logs,store}在conf文件夹下创建文件
broker
.conf
小小的木头人
·
2023-09-30 12:34
docker
rocketmq
容器
kafka producer配置
bootstrap.servers:连接
broker
的ip和portkey.serializervalue.serializeracks:[all,-1,0,1]0:不等写入就可以返回1:只写leader
jun康
·
2023-09-30 11:15
kafka详解
6.producer是否直接将数据发送到
broker
的leader(主节点)?7.Kafaconsumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式,还是Push模式?9.Pro
超电磁的美琴
·
2023-09-30 09:36
教程
大数据
分布式
kafka
java
从零手搓一个【消息队列】项目设计、需求分析、模块划分、目录结构
文章目录一、需求分析1,项目简介2,
Broker
Server核心概念3,
Broker
Server提供的核心API4,交换机类型5,持久化存储6,网络通信7,TCP连接的复用8,需求分析小结二、模块划分三
灵魂相契的树
·
2023-09-30 02:14
消息队列项目
消息队列
RabbitMQ
中间件
生产者消费者
【Kafka专题】Kafka快速实战以及基本原理详解
Kafka介绍1.1MQ的作用1.2为什么用Kafka二、Kafka快速上手2.1实验环境2.2单机服务体验2.3理解Kafka的消息传递机制2.4Kafka集群2.5理解服务端的Topic、Partion和
Broker
2.6
验证码有毒
·
2023-09-29 17:03
tuling学院学习笔记
kafka
分布式
上一页
21
22
23
24
25
26
27
28
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他