E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka消息队列
linux的apache安装,Apache Kylin | 安装指南
软件要求Hadoop:2.7+,3.1+(sincev2.5)Hive:0.13-1.2.1+HBase:1.1+,2.0(sincev2.5)Spark(可选)2.3.0+
Kafka
(可选)1.0.0
姜白的树洞
·
2025-02-03 07:26
linux的apache安装
Kafka
单机和集群环境部署教程
目录一、
Kafka
单机环境部署1.环境准备2.安装Java3.安装ZooKeeper3.1下载并解压ZooKeeper3.2配置ZooKeeper3.3启动ZooKeeper3.4验证ZooKeeper
闲人编程
·
2025-02-03 03:54
大数据集群部署教程
kafka
分布式
集群
部署
单机
zookeeper
Kafka
SASL/SCRAM介绍
文章目录
Kafka
SASL/SCRAM介绍1.SASL/SCRAM认证机制2.SASL/SCRAM认证工作原理2.1SCRAM认证原理2.1.1密码存储和加盐2.1.2SCRAM认证流程2.2SCRAM
王多鱼的梦想~
·
2025-02-03 00:32
Kafka修炼手册
kafka
分布式
apache
安全
Kafka
中文文档
文章来源:https://
kafka
.cadn.net.cn什么是事件流式处理?事件流是人体中枢神经系统的数字等价物。
圣心
·
2025-02-03 00:31
kafka
分布式
Kafka
SASL/PLAIN介绍
文章目录
Kafka
SASL/PLAIN介绍1.SASL/PLAIN简介2.配置步骤(1)
Kafka
服务器端配置(2)
Kafka
客户端配置(3)测试连接3.认证过程3.1SASL/PLAIN认证工作原理3.2
王多鱼的梦想~
·
2025-02-03 00:01
Kafka修炼手册
kafka
分布式
安全
kafka
下载安装、简易实例、遇到的错误解决
目录kafk实例错误解决WARN[ConsumerclientId=consumer-1,groupId=console-consumer-94437]Connectiontonode-
kafka
启动:
诸葛名义
·
2025-02-02 14:52
kafka
linux
hadoop
zookeeper
Kafka
下载安装及使用总结
1.下载安装官网下载地址:Apache
Kafka
下载对应的文件上传到服务器上,解压tar-xzf
kafka
_2.13-3.7.0.tgz目录结果如下├──bin│└──windows├──config│
GreyFable
·
2025-02-02 14:20
开发技术及框架
kafka
分布式
【技海登峰】
Kafka
漫谈系列(一)
Kafka
服务集群的核心组件
【技海登峰】
Kafka
漫谈系列(一)
Kafka
服务端的核心组件一.Broker完整的
Kafka
服务是集群Cluster结构,其由多个
Kafka
服务节点组成,每个物理节点即称为Broker,在实际部署中,
阿阿阿安
·
2025-02-02 13:49
【独家专栏】知识星球同步
专享优质好文
kafka
分布式
java
【Redis】Redis 经典面试题解析:深入理解 Redis 的核心概念与应用
Redis是一个高性能的键值存储系统,广泛应用于缓存、
消息队列
、排行榜等场景。在面试中,Redis是一个高频话题,尤其是其核心概念、数据结构、持久化机制和高可用性方案。1.Redis是什么?
阿猿收手吧!
·
2025-02-02 12:36
#
Redis
redis
数据库
缓存
Java与
Kafka
:
消息队列
使用指南
今天我们要来聊聊如何使用Java语言与Apache
Kafka
搭建
消息队列
系统。
Kafka
是一款分布式流处理平台,它能够高效地处理大量实时数据。
墨瑾轩
·
2025-02-02 10:53
一起学学Java【一】
java
kafka
linq
Kafka
监控及使用 JMX 进行远程监控的安全注意事项
目录一.前言二.
Kafka
监控(
Kafka
Monitoring)2.1.概览2.2.使用JMX进行远程监控的安全注意事项一.前言众所周知,
Kafka
的集中式设计具有很强的耐用性和容错性。
流华追梦
·
2025-02-02 09:18
Kafka
kafka
Kafka监控
kafkamonitoring
kafka使用jmx
jmx远程监控
messageinrate
requestrate
docker-compose
kafka
安装及外部访问不到
kafka
问题
文章目录一、docker-compose.yml二、
kafka
manager/
kafka
-manager连接zookeeper三、PHP生产者、消费者连接总结一、docker-compose.ymlversion
1010739073
·
2025-02-02 09:42
Docker
kafka
docker
如何自己设计一个类似 Dubbo 的 RPC 框架?
面试题剖析其实问到你这问题,你起码不能认怂,因为是知识的扫盲,那我不可能给你深入讲解什么
kafka
源码剖析,dubbo源码剖析,何况我就算讲了,
码农小旋风
·
2025-02-02 08:09
后端
Kafka
之详解(Detailed Explanation of
Kafka
)
一、
Kafka
简介Apache
Kafka
是一款分布式发布-订阅消息系统,由LinkedIn公司在2010年贡献给Apache基金会,并成为顶级开源项目。
Linux运维老纪
·
2025-02-02 03:36
奋力拼搏
让企业网站更好
kafka
分布式
Caused by: java.io.NotSerializableException: org.apache.
kafka
.common.metrics.MetricConfig
错误原因:在于
Kafka
Consumer的初始化放在了定义处。解决:应该放在open方法内初始化。
Slient-猿
·
2025-02-02 02:58
flink
flink
kafka
面试官:
Kafka
是什么,它有什么特性与使用场景?
坐上了进京的大巴车,车子缓缓开动,我的内心五味杂陈,这一去不知道几天才能找到工作,晚上不知道去哪里落脚呢。车子越来越堵,我就知道快要到了,看着窗外慢慢从破旧平房转变成了高楼大厦,我不由得感慨,什么时候这里才能有我的一席之地啊。二、面试==================================================================进了京我一刻也不敢停歇,马上找到要
字节全栈_rJF
·
2025-02-02 02:56
kafka
linq
wpf
分布式微服务系统架构第89集:
kafka
消费者
那么消费者是如何提交偏移量的呢?消费者往一个叫作_consumer_offset的特殊主题发送消息,消息里包含每个分区的偏移量。如果消费者一直处于运行状态,那么偏移量就没有什么用处。不过,如果消费者发生崩溃或者有新的消费者加入群组,就会触发再均衡,完成再均衡之后,每个消费者可能分配到新的分区,而不是之前处理的那个。为了能够继续之前的工作,消费者需要读取每个分区最后一次提交的偏移量,然后从偏移量指定
掘金-我是哪吒
·
2025-02-02 01:26
分布式
微服务
系统架构
kafka
架构
flume系列之:消费
Kafka
集群Topic报错java.io.IOException: Can‘t resolve address: data03:9092
flume系列之:消费
Kafka
集群Topic报错java.io.IOException:Can'tresolveaddress:data03:9092Causedby:java.nio.channels.UnresolvedAddressException
快乐骑行^_^
·
2025-02-02 01:25
flume
flume系列
消费Kafka集群Topic
OException
resolve
address
最新性能测试:
Kafka
、Pulsar 和 Pravega 哪个最强?
1简介为了对比不同的设计选择,我们还额外展示了来自其它系统的性能结果:Apache
Kafka
和ApachePulsar。
起码有故事
·
2025-02-01 23:40
程序员
软件测试
IT
程序人生
测试工程师
单元测试
软件测试
python
深入详解高性能
消息队列
中间件 RabbitMQ
目录1、引言2、什么是RabbitMQ?3、RabbitMQ优势4、RabbitMQ整体架构剖析4.1、发送消息流程4.2、消费消息流程5、RabbitMQ应用5.1、广播5.2、RPCVC++常用功能开发汇总(专栏文章列表,欢迎订阅,持续更新...)https://blog.csdn.net/chenlycly/article/details/124272585
dvlinker
·
2025-02-01 21:58
C/C++实战专栏
C/C++软件开发从入门到实战
中间件
rabbitmq
分布式
消息队列中间件
使用 Redis Streams 实现高性能
消息队列
1.引言在后端开发中,
消息队列
是一个常见的组件,主要用于解耦系统、提高吞吐量以及实现异步处理。
桂月二二
·
2025-02-01 20:20
redis
数据库
缓存
Kafka
的内部通信协议
引言
kafka
内部用到的常见协议和优缺点可以看看原文
Kafka
用到的协议本文奖详细探究
kafka
核心通信协议和高性能的关键网络层通信的实现基于JavaNIO:
Kafka
的网络通信层主要基于JavaNIO
优人ovo
·
2025-02-01 18:56
kafka
分布式
Kafa分区策略实现
引言
Kafka
的分区策略决定了生产者发送的消息会被分配到哪个分区中,合理的分区策略有助于实现负载均衡、提高消息处理效率以及满足特定的业务需求。
优人ovo
·
2025-02-01 18:56
kafka
分布式
关于
kafka
,关于
消息队列
、消息协议
Kafka
详解-知乎
消息队列
RabbitMQ入门与5种模式详解-简书消息协议(MQTT、AMQP、XMPP、WAMP、STOMP)之间的区别和应用_mqttamqp-CSDN博客
什么都没学会
·
2025-02-01 18:56
kafka
消息队列
消息协议
AMQP
XMPP
Kafka
实现之消息及消息格式
目录一.前言二.
Kafka
消息(Messages)三.
Kafka
消息格式(MessageFormat)3.1.消息批次(RecordBatch)3.1.1.控制批次(ControlBatches)3.2
流华追梦
·
2025-02-01 18:55
Kafka
kafka
Kafka消息
Kafka消息格式
消息批次
控制批次
Record
Header
旧消息格式
计算机编程中的事件驱动架构在提升应用程序响应性方面的作用与实现
计算机编程中的事件驱动架构在提升应用程序响应性方面的作用与实现计算机编程中的事件驱动架构在提升应用程序响应性方面的作用与实现计算机编程中的事件驱动架构在提升应用程序响应性方面的作用与实现引言事件驱动架构概述定义历史背景核心组件事件源(EventSource)事件处理器(EventHandler)中介者(Mediator)
消息队列
借口
·
2025-02-01 17:22
热点资讯
kafka
自定义分区器无法接收到数据
记录一下大无语事件,今天看尚硅谷的
kafka
自定义分区器,结果自己编写得分区器
kafka
一直接收不到数据,idea里也终端没有语句输出,找了好久才发现问题。
一嗷
·
2025-02-01 16:41
kafka
kafka
中的自定义分区器使用详解
综述在
Kafka
中,topic是逻辑上的概念,而partition是物理上的概念。不用担心,这些对用户来说是透明的。
皮哥四月红
·
2025-02-01 16:11
Kafka
kafka
kafka
自定义分区
2.如果键不为空,并且使用了默认的分区器,那么
Kafka
会对键取hash值然后根据散列值把消息映射到特定的分区上。
程序猿郭鹏飞神奇经历
·
2025-02-01 16:11
kafka
kafka自定义分区
kafka
partition
【
Kafka
】
Kafka
自定义分区器
(2)如果键不为空,并且使用了默认的分区器,那么
Kafka
会对键取hash值然后根据散列值把消息映射到特定的分区上。
beautiful_huang
·
2025-02-01 16:10
kafka
kafka
如何在
Kafka
中实现自定义分区器
今天我来给大家分享一下如何在
Kafka
中实现一个自定义分区器。
Kafka
是一个分布式流处理平台,能够高效地处理海量数据。
My LQS
·
2025-02-01 16:38
学习笔记篇
历史经验篇
kafka
分布式
如何自己设计一个类似Dubbo的RPC框架?
2面试题回答:其实问到你这问题,你起码不能认怂,因为是知识的扫盲,那我不可能给你深入讲解什么
kafka
源码剖析,dubbo源码剖析,何况我就算讲了,你要
赵广陆
·
2025-02-01 14:53
dubbo
rpc
java
网络协议
被怼了:acks=all消息也会丢失?
消息队列
是面试中一定会被问到的技术模块,虽然它在面试题占比不及并发编程和数据库,但也属于面试中的关键性问题。所以今天我们就来看一道,MQ中高频,但可能会打破你以往认知的一道面试题。
·
2025-02-01 12:16
java
【面试题】简述rabbitmq的组织架构
通常是应用程序的一部分,使用RabbitMQ客户端库与
消息队列
通
土掉渣的二傻子
·
2025-02-01 12:10
rabbitmq
架构
分布式
python
【1】阿里面试题整理
[1].
Kafka
如何保证数据一致性?
Kafka
主要通过副本机制、ISR机制、持久化机制以及事务机制等多种方式共同保证了数据的一致性。
独自破碎E
·
2025-02-01 05:09
Java面经
c#
java
kafka
mybatis
hash
Kafka
如何实现高性能
1.高吞吐量的设计分布式架构:
Kafka
通过分布式的集群架构设计来横向扩展,提高吞吐量。多个生产者、消费者和节点可以同时并行工作,分担流量负载。
言之。
·
2025-02-01 02:49
架构
面试
kafka
分布式
如何去设计一个
消息队列
以下相关业务纯属假设,如有雷同,实属巧合,下面的设计案例仅仅描述一些关键的设计考虑点和决策点1需求假想一个创业公司,叫胖批微博,胖批微博的业务发展很快,系统越来越多,系统之间的协调效率很低,如下:用户发了一条微博后,微博子系统需要通知审核子系统进行审核,然后通知统计子系统进行统计,再通知广告子系统进行广告预测,接着通知消息子系统进行消息推送、一条微博就会有十几个通知,现在都是通用接口直接调用的,每
PangPiLoLo
·
2025-02-01 01:10
从零到一设计架构
架构
java
中间件
系统架构
如何设计基于Java的高并发
消息队列
系统
如何设计基于Java的高并发
消息队列
系统大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!
省赚客app开发者
·
2025-01-31 23:23
java
开发语言
activeMQ笔记之一
1)JMS服务提供者实现
消息队列
和通知,同时实现消息管理的API。JMS已经是J2EEAP
kongxiangqi
·
2025-01-31 22:14
activemq
jms
session
消息中间件
api
企业应用
【升级!解锁 27 种文件格式,处理效率狂飙】
解锁27种文件格式,处理效率狂飙前言新增与优化功能详解代码深度解析GUI界面构建与交互逻辑多线程处理与
消息队列
机制文件处理核心逻辑如图所示注意事项前言这一版本的升级力度堪称全面且深入,在文件格式支持上,
努力的小好
·
2025-01-31 20:26
python
音视频
Debezium系列之:debezium把sqlserver数据库多张表的数据发送到一个
kafka
topic
Debezium系列之:debezium把sqlserver数据库多张表的数据发送到一个
kafka
topic一、需求二、debezium实现sqlservercdc三、相关参数详解四、完整参数一、需求把一个
快乐骑行^_^
·
2025-01-31 09:21
debezium
Debezium
sqlserver数据库
kafka
topic
MySql-MySqlConnector
提示:MySqlConnector类的主要职责是从MySQL数据库中捕获数据变更,并将这些变更以事件的形式发布到
Kafka
中。
DataLu
·
2025-01-31 09:16
MySql-debezium
mysql
数据库
数据库开发
大数据
开源
java
DB2-Db2StreamingChangeEventSource
在大数据和实时数据处理场景中,CDC可以用来同步数据到其他系统,比如数据仓库、数据湖或者流处理平台如Apache
Kafka
。文章目录前言一、核心功能
DataLu
·
2025-01-31 09:15
DB2-debezium
数据库
数据库开发
大数据
开源
kakfa-消息不丢失
Kafka
作为一个分布式流处理平台,设计时就高度关注消息的可靠性和不丢失,确保在分布式环境下即使发生故障,消息也不会丢失。
华东算法王(原聪明的小孩子
·
2025-01-31 05:50
facebook
twitter
机器学习
新浪微博
微信公众平台
一. spring cloud gateway集成 spring cloud stream binder
kafka
,实现“动态路由“刷新与加载之采坑记录
本文主要介绍如何集成SpringCloudStream,以
Kafka
发布订阅模式(topic),实现发送消息>>消费消息。
yanfei_1986
·
2025-01-31 02:56
spring
cloud
gateway
cloud
stream
kafka
Kafka
压缩算法详细介绍
文章目录一、
Kafka
压缩算法概述二、
Kafka
压缩的作用2.1降低网络带宽消耗2.2提高
Kafka
生产者和消费者吞吐量2.3减少
Kafka
磁盘存储占用2.4减少
Kafka
Broker负载2.5降低跨数据中心同步成本三
王多鱼的梦想~
·
2025-01-31 02:22
kafka
分布式
运维
apache
【SpringCloud微服务实战08】RabbitMQ
消息队列
MQ异步通信优缺点:优点:吞吐量提升:无需等待订阅者处理完成,响应更快速故障隔离:服务没有直接调用,不存在级联失败问题调用间没有阻塞,不会造成无效的资源占用耦合度极低,每个服务都可以灵活插拔,可替换流量削峰:不管发布事件的流量波动多大,都由Broker接收,订阅者可以按照自己的速度去处理事件缺点:架构复杂了,业务没有明显的流程线,不好管理需要依赖于Broker的可靠、安全、性能常见MQ对比:一、R
李维山
·
2025-01-31 00:05
MQ实战
Java
rabbitmq
spring
cloud
spring
boot
LEO、LSO、AR、ISR、HW都表示什么含义?
LSO(LogStableOffset):这是
Kafka
事务的概念。如果你没有使用到事务,那么这个值不存在(其实也不是不存在,只是设置成一个无意义的值)。该值控制了事务型消费者能够看到的消息范围。它经
jasen91
·
2025-01-31 00:05
kafka
大数据
Kafka
常见问题之 org.apache.
kafka
.common.errors.RecordTooLargeException
文章目录
Kafka
常见问题之org.apache.
kafka
.common.errors.RecordTooLargeException:Themessageis1,048,576byteswhenserializedwhichislargerthanthemaximumrequestsize
王多鱼的梦想~
·
2025-01-30 23:03
Kafka修炼手册
kafka
apache
分布式
运维
Kafka
常见问题之
Kafka
报错:org.apache.
kafka
.common.errors.NotLeaderOrFollowerException
Kafka
常见问题之
Kafka
报错:org.apache.
kafka
.common.errors.NotLeaderOrFollowerException文章目录
Kafka
常见问题之
Kafka
报错:org.apache.
kafka
.common.errors.NotLeaderOrFollowerException0
王多鱼的梦想~
·
2025-01-30 23:03
Kafka修炼手册
kafka
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他