E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka专区
深度解读
Kafka
数据可靠性
Kafka
起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。
程序の之道
·
2025-02-07 06:17
kafka
hive
yarn
spark
hadoop
【
kafka
】
kafka
的动态配置管理使用和分析
该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新)
Kafka
中的动态配置源码分析
kafka
知识图谱:
Kafka
知识图谱大全
kafka
管控平台推荐使用滴滴开源的
Kafka
运维管控平台(戳我呀)
石臻臻的杂货铺
·
2025-02-07 06:16
Kafka
kafka
运维
Kafka
源码解剖
1、
Kafka
源码解刨生产者会将数据封装成ProducerRecord对象,进行序列化操作后便会根据默认分区规则(轮询策略)。
纸短情长恋曲
·
2025-02-07 06:45
kafka
大数据
java
架构师⾯试题 -
Kafka
专题篇
1.
KAFKA
是什么?..........................................................................................
cesske
·
2025-02-07 05:15
kafka
分布式
Kafka
设计之生产者与消费者
vs拉取(Pull)3.2.消费者定位(ConsumerPosition)3.3.离线数据加载(OfflineDataLoad)3.4.静态成员身份(StaticMembership)一.前言接上一篇《
Kafka
流华追梦
·
2025-02-07 05:14
Kafka
kafka
生产者设计
负载均衡
异步发送
消费者设计
推送和拉取
离线数据加载
图解
Kafka
网络层源码实现机制之收发消息全过程
针对JavaNIO的SocketChannel,
kafka
是如何封装统一的传输层来实现最基础的网络连接以及读写操作的?剖析
Kafka
Channel是如何对传输层、读写buffer操作进行封装的?
炫酷盖茨猫先生
·
2025-02-07 05:14
后端
kafka
java
大数据
分布式
数据库
【
kafka
实战】05
Kafka
消费者消费消息过程源码剖析
1.概述
Kafka
消费者(Consumer)是
Kafka
系统中负责从
Kafka
集群中拉取消息的客户端组件。消费者消费消息的过程涉及多个步骤,包括消费者组的协调、分区分配、消息拉取、消息处理等。
suyukangchen
·
2025-02-07 05:41
kafak实战
kafka
linq
分布式
15.
kafka
常见报错
1.UnknownTopicOrPartitionExceptionorg.Nginx.
kafka
.common.errors.UnknownTopicOrPartitionException:Thisserverdoesnothostthistopic-partition
小黑要上天
·
2025-02-07 00:36
Kafka
kafka
分布式
设计模式-观察者模式
常见有RabbitMQ、ActiveMQ、
Kafka
等他们的特点也有很多比如解偶、异步、广播、削峰等等多种优势特点。
养歌
·
2025-02-06 17:53
java
观察者模式
中间件
java
你说通过
Kafka
AdminClient获取Lag会有性能问题?尊嘟假嘟0.o
0.前言前阵子团队里出了个大故障,本质是因为其他语言实现的client有问题,非常频繁的请求大量元数据,而
Kafka
服务端这边也没有做什么限制,导致
Kafka
Broker宕了。
·
2025-02-06 13:04
javakafka大数据
30、Flink中操作已经配置好的远程文件系统
publicstaticLongget
Kafka
OffsetFromHoodie2(S
梦想养猫开书店
·
2025-02-06 08:50
胡思乱想
flink
华为云
kafka
-eagle-2.0.3:Note:
Kafka
version is - or JMX Port is -1 maybe
kafka
broker jmxport disable.
kafka
-eagle-2.0.3无法获取
kafka
集群信息
kafka
开启JMX,这样就可以通过
kafka
-eagle查看
kafka
集群状态。
快乐骑行^_^
·
2025-02-06 06:42
大数据
kafka-eagle
【
Kafka
】Window下
kafka
开启JMX监控
1.概述因为需要,需要在windows下开启
kafka
,然后
kafka
开启JMX监控同样是修改
kafka
-server-start文件,但是修改的是
kafka
-server-start.batIF["%
九师兄
·
2025-02-06 06:09
kafka
开启jmx port,报错端口被占用
KAFKA
开启JMX_PORT后,在使用
kafka
命令行工具(
kafka
-topics、
kafka
-console-consumer.sh等)时,会报端口被占用的异常,如:bash-5.1#/opt/
kafka
假装是只熊
·
2025-02-06 06:39
kafka
java
Kafka
开启JMX监控
在
kafka
的安装目录bin下找到启动脚本
kafka
-run-class.sh编辑
kafka
-run-class.shJMX_PORT=9527//在脚本第一行添加JMX端口-Djava.rmi.server.hostname
程序员众推
·
2025-02-06 06:39
杂记
kafka
jmx
kafka
不支持读写分离的原因
前段时间在看
kafka
相关内容,发现
kafka
“所有的”读写流量都在主partition上,从partition只负责备份数据。那么为什么
kafka
从partition不跟其他中间件一样承接读流量?
·
2025-02-06 01:23
kafka
Kafka
的安装及相关操作命令
文章目录前言一、安装
kafka
1.下载
kafka
2.解压
kafka
3.配置环境变量二、
kafka
相关命令1.启动zk2.启动
Kafka
Broker3.创建主题4.列出所有主题5.查看主题详情6.删除主题
凡许真
·
2025-02-05 23:41
kafka
0.10.2.1
操作命令
mac
单机版
【
kafka
】
kafka
docker jmx 远程连接 跨容器
1.概述前情提要:【Java】javajmx入门案例【
kafka
】java使用jmx监控
Kafka
【
Kafka
】Window下
kafka
开启JMX监控2.远程连接
kafka
jxm远程连接我是docker
九师兄
·
2025-02-05 23:40
kafka
docker
jmx
远程连接
Kafka
启用 JMX
以下是在
Kafka
服务启动时启用JMX的步骤:找到
Kafka
的启动脚本,通常在
Kafka
安装目录的bin子目录下编辑启动脚本(例如
kafka
-server-start.sh),在其中设置JMX参数。
cyw8998
·
2025-02-05 23:39
kafka
分布式
Zabbix5.0LTS配置Apache
Kafka
by JMX模板监控
Kafka
目录部署环境安装zabbix-java-gateway编译安装zabbix-java-gateway修改zabbix-java-gateway配置settings.sh修改Zabbixserver配置文件
Kafka
ErbaoLiu
·
2025-02-05 23:39
Prometheus
kafka
zabbix5.0
zabbix监控kafka
JMX
kafka
的高可用情况下,挂掉一个节点,为什么消费者消费不到数据了
1.假设有
kafka
集群,3个broker
kafka
集群
kafka
01
kafka
02
kafka
032.创建topictest(分区3副本3)
kafka
-topics.sh--create--topic'test
黄土高坡上的独孤前辈
·
2025-02-05 21:55
Kafka
开源项目推荐:基于Lambda架构的大数据管道
开源项目推荐:基于Lambda架构的大数据管道big-data-pipeline-lambda-archAfullbigdatapipeline(LambdaArchitecture)withSpark,
Kafka
柳旖岭
·
2025-02-05 16:53
Kafka
架构
引言
Kafka
凭借其独树一帜的分区架构,在消息中间件领域展现出了卓越的性能表现。
优人ovo
·
2025-02-04 22:41
kafka
架构
分布式
Kafka
SSL(TLS)安全协议
文章目录
Kafka
SSL(TLS)安全协议1.
Kafka
SSL的作用1.1数据加密1.2身份认证1.3数据完整性1.4防止中间人攻击1.5确保安全的分布式环境1.6防止拒绝服务(DoS)攻击2.
Kafka
SSL
王多鱼的梦想~
·
2025-02-04 21:06
Kafka修炼手册
kafka
ssl
安全
golang 操作 docker 中
kafka
阅读目录docker中安装
kafka
Kafka
和ZooKeeper的关系
Kafka
两种订阅模式zookeeper安装1、在docker中拉取zookeeper镜像2、运行zookeeper服务3、查看docker
知其黑、受其白
·
2025-02-04 16:23
golang
docker
kafka
Kafka
应用场景
序在学习一门新技术之前,我们需要先去了解一下这门技术的具体应用场景,使用它能够做什么,能够达到什么目的,学习
kafka
的初衷是用作消息队列;但是还可以使用
Kafka
Stream进行一些实时的流计算,多用于大数据处理
串一串cc
·
2025-02-04 15:20
分布式消息队列ActiveMQ RabbitMQ RocketMQ
Kafka
目录1、消息队列的主要的应用场景:解耦异步削峰(1)解耦(2)异步(3)削峰2、使用消息队列的缺点3、消息队列选型4、保证消息队列的高可用5、保证消息不被重复消费6、保证消费的可靠性传输(1)生产者丢失数据(2)消息队列丢失数据(3)消费者丢数据6、那么下次消费的时候offset就从7开始。7、保证消息的顺序性8、MQTT与重量级消息队列的区别1、消息队列的主要的应用场景:解耦异步削峰(1)解耦传
zxm8513
·
2025-02-04 12:23
工业互联网开发技术
综合性技术汇集
我的应用为谁而生
rabbitmq
java
分布式
ActiveMQ、RabbitMQ、RocketMQ、
Kafka
的介绍及优缺点说明
ActiveMQ单机吞吐量:万级topic数量都吞吐量的影响:时效性:ms级可用性:高,基于主从架构实现高可用性消息可靠性:有较低的概率丢失数据功能支持:MQ领域的功能极其完备总结:非常成熟,功能强大,在早些年业内大量的公司以及项目中都有应用偶尔会有较低概率丢失消息现在社区以及国内应用都越来越少,官方社区现在对ActiveMQ5.x维护越来越少,几个月才发布一个版本主要是基于解耦和异步来用的,较少
墨痕诉清风
·
2025-02-04 12:20
安全文献
java-rabbitmq
rabbitmq
java-activemq
ActiveMQ、RabbitMQ、
Kafka
、RocketMQ在优先级队列、延迟队列、死信队列、重试队列、消费模式、广播模式的区别
目录1.优先级队列2.延迟队列3.死信队列4.重试队列5.消费模式6.广播模式ActiveMQ、RabbitMQ、
Kafka
、RocketMQ这四款消息队列在优先级队列、延迟队列、死信队列、重试队列、消费模式
点滴~
·
2025-02-04 11:49
activemq
rabbitmq
kafka
各个消息队列的优缺点对比(activeMQ、rabbitMQ、rocketMQ、
kafka
)
各个消息队列对比特性activeMQrabbitMQrocketMQ
kafka
单机吞吐量万/秒万/秒10万/秒10万/秒topic对吞吐量的影响无无topic达到几百/几千个级别,吞吐量会有小幅下降;这是
batcat560
·
2025-02-04 11:16
消息队列
activemq
rabbitmq
rocketmq
kafka
ActiveMQ、RabbitMQ、RocketMQ、
Kafka
四种消息中间件分析介绍
ActiveMQ、RabbitMQ、RocketMQ、
Kafka
四种消息中间件分析介绍我们从四种消息中间件的介绍到基本使用,以及高可用,消息重复性,消息丢失,消息顺序性能方面进行分析介绍!
GeoffA
·
2025-02-04 11:13
java技术
java-rabbitmq
java-activemq
java-rocketmq
kafka
使用 Grafana 和 Prometheus展现消息队列性能
引言上篇文章通过JMX提取
Kafka
数据,本篇文章将通过JDBC存储
Kafka
性能数据存储于数据库,并通过Grafana和Prometheus进行展示,实现开发中常用的可视化监控1.环境准备
Kafka
:
优人ovo
·
2025-02-04 07:16
grafana
prometheus
Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType
scala任务代码Headdefault%flink.confflink.execution.packagesorg.apache.flink:flink-connector-
kafka
_2.11:1.11.2
黄瓜炖啤酒鸭
·
2025-02-04 04:17
Flink
依赖冲突
我的创作纪念日
机缘也是想和大家一起进步,记录下自己遇到的问题和学习进程收获发现好记性不如烂笔头,多记一点是没有坏处的憧憬当然新的一年希望自己可以多创作一些质量更好的文章出来和大家一起分享Tips您发布的文章将会展示至里程碑
专区
所谓远行Misnearch
·
2025-02-04 00:48
人工智能
揭秘 Fluss 架构组件
Fluss部署,带领大家部署Fluss环境,体验一下Fluss的功能Fluss整合数据湖的操作,体验Fluss与数据湖的结合讲解了Fluss、
Kafka
、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
大圣数据星球
·
2025-02-03 20:13
大数据
Flink
设计模式
Windows下Go语言环境搭建和使用
可以用于系统监控、容器技术(Docker)、大数据、存储技术、分布式系统(HyperledgerFabric)、消息系统(
Kafka
客户端)、服务器管理、安全工具、Web工具等。
go语言学习基地
·
2025-02-03 11:36
GO语言学习
golang
windows
开发语言
Kakfa客户端SSL访问
kafka
博主最近在做安全治理,遇到了相当多的坑,现在我进行整理,提供一个可行的
kafka
的SSL访问开启
kafka
的ssl访问1首先创建你的私钥与证书,在
kafka
所在的主机,运行如下命令:keytool-keystoreserver.keystore.jks-aliaslocalhost-validity365
浪漫至死不渝1
·
2025-02-03 09:15
kafka
ssl
分布式
Kafka
ACL(访问控制列表)介绍
文章目录
Kafka
ACL(访问控制列表)介绍1.
Kafka
ACL的基本概念1.1
Kafka
ACL的目标1.2
Kafka
ACL的组成部分2.
Kafka
支持的资源类型2.1Topic(主题)2.2ConsumerGroup
王多鱼的梦想~
·
2025-02-03 08:37
Kafka修炼手册
kafka
分布式
安全
apache
运维
linux的apache安装,Apache Kylin | 安装指南
软件要求Hadoop:2.7+,3.1+(sincev2.5)Hive:0.13-1.2.1+HBase:1.1+,2.0(sincev2.5)Spark(可选)2.3.0+
Kafka
(可选)1.0.0
姜白的树洞
·
2025-02-03 07:26
linux的apache安装
Kafka
单机和集群环境部署教程
目录一、
Kafka
单机环境部署1.环境准备2.安装Java3.安装ZooKeeper3.1下载并解压ZooKeeper3.2配置ZooKeeper3.3启动ZooKeeper3.4验证ZooKeeper
闲人编程
·
2025-02-03 03:54
大数据集群部署教程
kafka
分布式
集群
部署
单机
zookeeper
Kafka
SASL/SCRAM介绍
文章目录
Kafka
SASL/SCRAM介绍1.SASL/SCRAM认证机制2.SASL/SCRAM认证工作原理2.1SCRAM认证原理2.1.1密码存储和加盐2.1.2SCRAM认证流程2.2SCRAM
王多鱼的梦想~
·
2025-02-03 00:32
Kafka修炼手册
kafka
分布式
apache
安全
Kafka
中文文档
文章来源:https://
kafka
.cadn.net.cn什么是事件流式处理?事件流是人体中枢神经系统的数字等价物。
圣心
·
2025-02-03 00:31
kafka
分布式
Kafka
SASL/PLAIN介绍
文章目录
Kafka
SASL/PLAIN介绍1.SASL/PLAIN简介2.配置步骤(1)
Kafka
服务器端配置(2)
Kafka
客户端配置(3)测试连接3.认证过程3.1SASL/PLAIN认证工作原理3.2
王多鱼的梦想~
·
2025-02-03 00:01
Kafka修炼手册
kafka
分布式
安全
kafka
下载安装、简易实例、遇到的错误解决
目录kafk实例错误解决WARN[ConsumerclientId=consumer-1,groupId=console-consumer-94437]Connectiontonode-
kafka
启动:
诸葛名义
·
2025-02-02 14:52
kafka
linux
hadoop
zookeeper
Kafka
下载安装及使用总结
1.下载安装官网下载地址:Apache
Kafka
下载对应的文件上传到服务器上,解压tar-xzf
kafka
_2.13-3.7.0.tgz目录结果如下├──bin│└──windows├──config│
GreyFable
·
2025-02-02 14:20
开发技术及框架
kafka
分布式
【技海登峰】
Kafka
漫谈系列(一)
Kafka
服务集群的核心组件
【技海登峰】
Kafka
漫谈系列(一)
Kafka
服务端的核心组件一.Broker完整的
Kafka
服务是集群Cluster结构,其由多个
Kafka
服务节点组成,每个物理节点即称为Broker,在实际部署中,
阿阿阿安
·
2025-02-02 13:49
【独家专栏】知识星球同步
专享优质好文
kafka
分布式
java
Java与
Kafka
:消息队列使用指南
今天我们要来聊聊如何使用Java语言与Apache
Kafka
搭建消息队列系统。
Kafka
是一款分布式流处理平台,它能够高效地处理大量实时数据。
墨瑾轩
·
2025-02-02 10:53
一起学学Java【一】
java
kafka
linq
Kafka
监控及使用 JMX 进行远程监控的安全注意事项
目录一.前言二.
Kafka
监控(
Kafka
Monitoring)2.1.概览2.2.使用JMX进行远程监控的安全注意事项一.前言众所周知,
Kafka
的集中式设计具有很强的耐用性和容错性。
流华追梦
·
2025-02-02 09:18
Kafka
kafka
Kafka监控
kafkamonitoring
kafka使用jmx
jmx远程监控
messageinrate
requestrate
docker-compose
kafka
安装及外部访问不到
kafka
问题
文章目录一、docker-compose.yml二、
kafka
manager/
kafka
-manager连接zookeeper三、PHP生产者、消费者连接总结一、docker-compose.ymlversion
1010739073
·
2025-02-02 09:42
Docker
kafka
docker
如何自己设计一个类似 Dubbo 的 RPC 框架?
面试题剖析其实问到你这问题,你起码不能认怂,因为是知识的扫盲,那我不可能给你深入讲解什么
kafka
源码剖析,dubbo源码剖析,何况我就算讲了,
码农小旋风
·
2025-02-02 08:09
后端
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他