E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Broker
RocketMQ集群搭建
环境:两台虚拟机,java环境,mvn虚拟机1启动一个nameserver+1个
broker
。虚拟机2启动一个
broker
。
运动书生
·
2023-12-02 13:34
【kafka实践】09|消费者位移
这使得Kafka
Broker
不需要保存位移数据,减少了
Broker
端需要
叁戒
·
2023-12-02 12:41
kafka学习与实践
kafka
分布式
Doris 数据导入一:
Broker
Load 方式
其中
Broker
load还支持parquet和orc数据格式。1)
shangjg3
·
2023-12-02 10:18
Doris
大数据
数据仓库
doris
sql
2023_Spark_实验二十四:Kafka集群环境搭建
Kafka集群环境搭建一、环境说明二、安装步骤一、环境说明目前的Kafka版本还是需要借助zookeeper来存储cluster、
broker
s、consumer等相关元信息,在当前版本即在本案例中,我们采用了外部的
pblh123
·
2023-12-02 10:44
Spark实验
spark
kafka
大数据
RocketMQ:搭建集群
Broker
部署相对复杂,
Broker
分为Master与Slave,一个Master可以对应多个Slave,但是一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的Br
Anbang713
·
2023-12-02 09:11
三、架构设计
Producer通过MQ的负载均衡模块选择相应的
Broker
集群队列进行消息投递,投递的过程支持快速失败并且低延迟。Consumer:消息消费的角色,支持分布式集群方式部署。
放开那个BUG
·
2023-12-02 01:06
中国平安蝉联MSCI-ESG评级“A“级 保持“综合保险及经纪”类别亚太区第一位
中国平安凭借在ESG方面的优异管理表现,连续第二年获得A级评级,保持"综合保险及经纪"(Multi-LineInsurance&
Broker
age)类别亚太区第一位。
lsrsyx
·
2023-12-01 19:25
百度
人工智能
kafka 控制台发送和消费测试
#进入安装目录cd/export/app/kafka_2.11-0.10.2.1#生产:bin/kafka-console-producer.sh--
broker
-list10.86.0.106:9092
玩玩风行啦
·
2023-12-01 16:15
rocketmq 集群环境部署及与spring cloud 集成
1下载zip安装包rocketmq-all-5.1.4-bin-release.zip2修改启动配置,防止默认内存配置过高runserver.sh/run
broker
.sh/tools.sh3启动namesrvnohupshbin
XT4625
·
2023-12-01 09:41
java
rocketmq
spring
cloud
spring
boot
2018-11-28
anopensource(BSDlicensed),in-memorydatastructurestore,usedasadatabase,cacheandmessage
broker
O
Donley828
·
2023-12-01 08:38
Rocketmq架构
Rocketmqnamesrv源码分析-CSDN博客
Broker
:消息中转角色,负责存储消息、转发消息。
我不是攻城狮
·
2023-12-01 04:03
RocketMq
rocketmq
大厂五剑客之RocketMQ---6--RocketMQ生产者---二周目
2.投递到
broker
失败重新发送。3.最大消息的大小。4.主题下队列的数量。5.是否自动创建,生产环境要设置为false。7.consumer订阅topic可以配置为组,生产环境建议关闭。
nzch
·
2023-11-30 22:02
MQ
XXD
【RocketMQ 二十】RocketMQ应用之延时消息
1什么是延时消息当消息写入到
Broker
后,在指定的时长后才可被消费处理的消息,称为延时消息。采用RocketMQ的延时消息可以实现定时任务的功能,而无需使用定时器。
冒菜MaoCai
·
2023-11-30 22:02
MQ
java-rocketmq
rocketmq
java
RocketMQ入门实战
二.基础实战启动mq1.先启动namespace2.启动
broker
3。下载一个rocket-console。
微醺尔尔
·
2023-11-30 22:29
中间件
spring
boot
消息队列
电商营销场景的RocketMQ实战01-RocketMQ原理
架构图
Broker
主从架构与集群模式RocketMQ原理深入剖析
Broker
主从架构原理HAConnection与HAClient
Broker
基于raft协议的主从架构Consumer运行原理基础知识001
每天的每一天
·
2023-11-30 22:27
业务系统开发
java-rocketmq
rocketmq
java
python测试开发django-159.Celery 异步与 RabbitMQ 环境搭建
Celerycelery的5个角色Task就是任务,有异步任务(AsyncTask)和定时任务(CeleryBeat)
Broker
中间人,接收生产者发来的消息即Task,将任务
上海-悠悠
·
2023-11-30 20:39
Python
rabbitmq
python
django
Kafka如何保证数据的可靠性&Kafka集群
Kafka可以支持高吞吐量的原因四、Kafka选举策略什么是ISR什么是LEO、LSO、HW、LW数据更新过程Follwer同步数据分区Leader故障转移&选举策略一、Kafka数据存储方式名词解释
Broker
熟透的蜗牛
·
2023-11-30 20:24
MQ消息中间件
kafka
Kafka的特点和他的存储机制
支持消息的发布和订阅,类似于RabbtMQ、ActiveMQ等消息队列;支持数据离线和实时处理;能保证消息的可靠性投递;支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错,时间效率O(1);高吞吐率,单
Broker
黄山路443号
·
2023-11-30 20:21
Kafka
队列
kafka
java
hadoop
分布式
activeMq
apache-activemq-5.18.2/conf/activemq.xml4.浏览器访问5.springboot使用案例配置#activemq配置spring:profiles:include:kafkaactivemq:
broker
-url
xixiyuguang
·
2023-11-30 19:43
activemq
Windows本地部署mqtt服务器+阿里云 (MQTT
Broker
:EMQX)
Windows本地部署mqtt服务器+阿里云第一、购买阿里云服务器第二、阿里云设置安全组第三、本地下载和启动emqx第四、mqttfx调试第五、所遇问题解决第一、购买阿里云服务器阿里云服务器购买我买的是共享n4第二、阿里云设置安全组1883端口(MQTT/TCP协议端口)8083端口(MQTT/WebSocket调试工具的端口)18083端口(网页控制台)第三、本地下载和启动emqxemqx下载网
YUISOK
·
2023-11-30 18:25
mqtt
阿里云
http
一文五分钟让你彻底理解Kafka架构原理
一、Kafka架构图1.kafka名词解释在一套kafka架构中有多个Producer,多个
Broker
,多个Consumer,每个Producer可以对应多个Topic,每个Consu
梦幻python
·
2023-11-30 15:39
Java架构
Java
java
开发语言
后端
eclipse
spring
Kafka相关面试题
producer从
broker
拉取消息,consumer从
broker
拉取消息优点:pull模式消费者自主决定是否批量从
broker
拉取数据,而push模式在无法知道消费者消费能力情况下,不易控制推送速度
曲终--人散
·
2023-11-30 12:45
kafka
分布式
RabbitMQ的Web管理页面
访问页面http://IP:15672/账号密码默认都是:guest主页概览Overview显示当前RabbitMQ
Broker
的运行信息、连接信息、集群信息以及配置信息等。
薛伟同学
·
2023-11-30 10:04
消息队列
RabbitMQ
消息队列
Windows安装EMQX(搭建MQTT服务)
EMQX(Erlang/Enterprise/ElasticMQTT
Broker
)是基于Erlang/OTP平台开发的开源物联网MQTT消息服务器。
sternschnapper
·
2023-11-30 09:36
服务器
java
RabbitMQ基本介绍(1)
3.消息中间件的组成3.1
Broker
:消息服务器,作为se
我是1只猫
·
2023-11-30 09:31
MQ
rabbit介绍
rabbit模式
rabbit组成
golang—kafka架构原理快速入门以及自测环境搭建(docker单节点部署)
它具有以下特点:支持消息的发布和订阅,类似于RabbtMQ、ActiveMQ等消息队列支持数据实时处理能保证消息的可靠性投递支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错高吞吐率,单
Broker
咚伢
·
2023-11-30 06:38
golang
kafka
架构
【MQTT学习 一】基本概念
MQTT报文组成CONNECT报文CONNACK报文断开连接发布消息订阅主题取消订阅通信基本原理MQTTMQTT是一种基于客户端和服务端架构的消息传输协议1.1服务端MQTT的服务端通常是一台服务器(
broker
城市的稻草人VS
·
2023-11-29 17:17
#
MQTT
学习
网络
服务器
【Kafka】【二十三】Kafka优化之防止消息丢失和重复消费
使⽤同步发送2)把ack设成1或者all,并且设置同步的分区数>=2消费者:把⾃动提交改成⼿动提交如何防止重复消费在防⽌消息丢失的⽅案中,如果⽣产者发送完消息后,因为⽹络抖动,没有收到ack,但实际上
broker
BirdMan98
·
2023-11-29 06:13
Kafka
kafka
java
分布式
大数据篇--Kafka数据丢失、重复与消息顺序保证
文章目录一、Kafka介绍二、数据重复1.Consumer重复消费数据:2.幂等性:3.事务:三、数据丢失四、Kafka的优化建议1.
broker
端:2.Producer优化(producer.properties
小强签名设计
·
2023-11-29 06:08
大数据面试
Kafka
数据重复与丢失
kafka如何保证消息不丢失 不重复消费 消息的顺序
如何保证消息的不丢失消息为什么会丢失想要保证消息不丢失就要首先知道消息为什么会丢失,在哪个环节会丢失,然后在丢失的环节做处理1.生产者生产消息发送到
broker
,
broker
收到消息后会给生产者发送一个
程序员小单
·
2023-11-29 06:04
kafka
分布式
kafka中ack的三种参数配置
acks参数配置:acks:0:producer不等待
broker
的ack,这一操作提供了一个最低的延迟,
broker
一接收到还没有写入磁盘就已经返回,当brok
是小李呀~
·
2023-11-29 05:31
kafka
kafka
分布式
kafka集群环境部署
文章目录1Kafka集群2搭建两台服务器2.1zookeeper部署2.2启动1号机器的
broker
2.3启动2号机器的
broker
2.4查看kafka集群2.5测试集群1Kafka集群2搭建两台服务器
路飞H
·
2023-11-29 05:59
kafka
kafka
分布式
Doris-
Broker
Load(二十四)
适用场景源数据在
Broker
可以访问的存储系统中,如HDFS。数据量在几十到百GB级别。
玖玖1704
·
2023-11-28 16:18
Doris
sql
etl
hadoop
生产者和消费者的底层类
无论是生产者还是消费者,在底层都要和
Broker
打交道,进行消息收发。在源码层面,底层的功能被抽象成同一个类,负责和
Broker
打交道,下面详细介绍这个类的情况。
Hamilton_Huan
·
2023-11-28 14:54
RocketMQ
java-rocketmq
rocketmq
java
07 | Kakfa_生产者消息分区机制原理剖析
比如很多公司使用Kafka收集应用服务器的日志数据,这种数据都是很多的,特别是对于那种大批量机器组成的集群环境,每分钟产生的日志量都能以GB数,因此如何将这么大的数据量均匀地分配到Kafka的各个
Broker
Splunker
·
2023-11-28 13:23
Docker部署Kafka
localtime:/etc/localtimewurstmeister/zookeeper:latest2.安装Kafkadockerrun-d--namekafka-p9092:9092-eKAFKA_
BROKER
_ID
以梦话牛
·
2023-11-28 12:05
Docker
Kafka
kafka
docker
第4.4章:StarRocks备份还原--Backup&Restore
Backup操作也需要
Broker
组件,通过
Broker
将数据备份到远端存储系统中,例如HDFS、OSS、COS或S3等。
流木d
·
2023-11-28 11:35
StarRocks
数据库
大数据
分布式
hadoop
Apache Doris Stream load 数据导入方式
Broker
l
hf200012
·
2023-11-28 07:05
Doris
java
数据库
http
RocketMQ常用命令
启动namesrvnohupshmqnamesrv&启动
broker
nohupshmq
broker
-c..
jsxztshaohaibo
·
2023-11-28 00:57
linux
运维
服务器
rocketmq消息发送源码学习
同步消息发送入口DefaultMQProducer#sendpublicSendResultsend(Messagemsg)throwsMQClientException,RemotingException,MQ
Broker
Exception
march of Time
·
2023-11-27 13:24
消息队列mq
java-rocketmq
rocketmq
学习
kafka基本操作以及kafka-topics.sh 使用方式
1kafka的基本操作1.1创建topic1.2查看topic1.3查看topic属性1.4发送消息1.5消费消息2kafka-topics.sh使用方式2.1查看帮助2.2副本数量规则2.3创建主题2.4查看
broker
路飞H
·
2023-11-27 10:44
kafka
kafka
消息队列使用场景、概念和原理
使用消息队列的场景1.1消息队列的异步处理1.2消息队列的流量控制(削峰)1.3消息队列的服务解耦1.4消息队列的发布订阅1.5消息队列的高并发缓冲2消息队列的基本概念和原理2.1消息的生产者和消费者2.2
Broker
2.3
路飞H
·
2023-11-27 10:44
kafka
kafka
通用电气调查网络攻击和数据盗窃指控
本月早些时候,一个名为Intel
Broker
的威胁行为者试图在黑客论坛上以500美元的价格出售通用电气“开发和软件管道”的访问权限。
网络研究院
·
2023-11-27 08:10
网络研究院
网络
攻击
数据
泄露
黑客
RocketMq架构和源码解析
Broker
:消息中转角色,负责存储消息、转发消息。
Broker
服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。
我不是攻城狮
·
2023-11-27 08:52
RocketMq
rocketmq
架构
走近科学之《apache kafka 的秘密》
Approachingscience《thesecretofapachekafka》简介、架构设计、
broker
、producer、consumer、配置参数、调优1、kafka简介1.1、kafka定义
红衣女妖仙
·
2023-11-27 03:44
中间件
spring
cloud
kafka
apache
分布式
消息队列
中间件
探究Kafka原理-5.Kafka设计原理和生产者原理解析
原理如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成2023计划中:源码溯源,一探究竟联系方式:nhs19990716,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬文章目录Kafka系统基本架构
broker
爱吃芝士的土豆倪
·
2023-11-27 00:33
kafka
kafka
分布式
java
Kafka面试题
Kafka能够实现高吞吐量的原因有几个关键点:分布式架构:Kafka采用分布式架构,可以横向扩展到多个
Broker
节点,每个节点可以承载多个分区和副本。
JebLin02
·
2023-11-26 23:49
kafka
分布式
消息队列-Kafka消息顺序问题
为什么多个mq服务端(
broker
),单个消费者消费消息会存在消息顺序问题?答:因为我们的投递消息分别存放在多个不同的
broker
存放,单个消费者获取所有的
broker
建立长连接,
kaico2018
·
2023-11-26 14:16
分布式学习
kafka
java
Kafka KRaft 版本集群部署详细教程(附配置文件详细解释)
版本说明Ubuntu18.04.6Kafka3.6.0JDK8集群配置操作系统ip域名Kafka
Broker
端口KafkaController端口Ubuntu18.04.6192.168.50.131kafka1
-Hedon
·
2023-11-26 13:35
kafka
数据库
分布式
kafka-2.集群搭建,topic+partition消费逻辑梳理
dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz上传服务器解压安装$tar-xzfkafka_2.13-2.6.0.tgz$cdkafka_2.13-2.6.0/要修改的配置项
broker
.id
飘然渡沧海
·
2023-11-26 12:33
kafka
kafka
zookeeper
分布式
架构
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他