E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka爱我
python消费
kafka
数据nginx日志实时_基于nginx+flume+
kafka
+mongodb实现埋点数据采集
名词解释埋点其实就是用于记录用户在页面的一些操作行为。例如,用户访问页面(PV,PageViews)、访问页面用户数量(UV,UserViews)、页面停留、按钮点击、文件下载等,这些都属于用户的操作行为。开发背景我司之前在处理埋点数据采集时,模式很简单,当用户操作页面控件时,前端监听到操作事件,并根据上下文环境,将事件相关的数据通过接口调用发送至埋点数据采集服务(简称ets服务),ets服务对数
weixin_39534208
·
2025-02-09 18:50
kafka
简单使用
kafka
简单介绍
kafka
是apache旗下的一款开源免费的消息队列中间件,最早由LinkedIn开发,后面贡献给Apache,目前是Apache旗下顶级开源项目(http://www.
kafka
.apache.org
zeroLinked
·
2025-02-09 18:18
博学谷学习记录
kafka
java
分布式
Springboot整合
kafka
简单使用
kafka
一,介绍
Kafka
是一个开源的分布式流处理平台,最初由LinkedIn开发并贡献给Apache软件基金会。它设计用于构建高性能、持久性、可伸缩和容错的实时数据管道和流处理应用程序。
陈小唬
·
2025-02-09 18:17
spring
boot
kafka
后端
kafka
_2.13-3.9 集群部署,非zookeeper,并添加SASL/PLAIN认证
1.环境准备ubuntu24.04(不一定非得是24的)java:sudoapt-getinstallopenjdk-11-jdk下载文件:
kafka
_2.13-3.9.0.tgz模拟集群环境:192.168.1.1192.168.1.2192.168.1.32
look_miao
·
2025-02-09 18:17
kafka
分布式
从服务端埋点到
Kafka
(二)
主要操作主要的内容就是根据模型的字段要求,在相应的游戏逻辑执行时将埋点的json串发送到
Kafka
代码实现由于游戏服务端采用Java编写,所以现在以Java为例进行说明publicabstractclassLogEventimplementsSerializable
c_jhsp
·
2025-02-09 18:15
后台指标分析应用搭建
kafka
Kafka
系列8:一网打尽常用脚本及配置,宜收藏落灰!
前言通过前面7篇文章的介绍,小伙伴们应该对
Kafka
运行工作原理有一个相对比较清晰的认识了。
assasinSteven
·
2025-02-09 18:15
kafka
kafka
【大数据技术】
Kafka
实时分析用户行为日志(python+zookeeper+
kafka
)
Kafka
实时分析用户行为日志(python+zookeeper+
kafka
)搭建完全分布式高可用大数据集群(ZooKeeper)搭建完全分布式高可用大数据集群(
Kafka
)本机PyCharm远程连接虚拟机
Want595
·
2025-02-09 17:13
Python大数据采集与分析
kafka
python
zookeeper
95-20-010-协议-
Kafka
的Request和Response
文章目录1.视界1.概述2.基础数据结构类:2.1Type类:2.2ArrayOf类:2.3Field类:2.4Schema类:2.5Sturct类:3.协议相关类型:3.1Protocol类:3.2ApiKeys类:4.Request和Response相关类型4.1AbstractRequestResponse类:4.2AbstractRequest类:4.3ProduceRequest类:Re
九师兄
·
2025-02-09 10:56
微服务架构中的事件驱动设计:使用
Kafka
和 Apache Pulsar 实现高效的事件流管理
随着大规模分布式系统的复杂性不断增加,事件流平台如Apache
Kafka
和ApachePulsar在事件驱动架构
桂月二二
·
2025-02-09 08:08
架构
微服务
kafka
Filebeat 连接
Kafka
失败
listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://IP地址:9092
ms_勇往直前
·
2025-02-09 08:37
kafka
filebeat
查看
kafka
的topic列表
\
kafka
-topics.bat--zookeeper127.0.0.1:2181--list2.查看指定topic.
荒烟蔓草
·
2025-02-09 02:48
kafka
面试官:谈谈你对IO多路复用的理解?
“IO多路复用”是编程中常见的技术词汇,使用这种技术的框架有很多,如,Redis、
Kafka
、Netty、Nginx中都用到了此技术。那问题来了,什么是IO多路复用?它的具体实现技术有哪些?
·
2025-02-08 23:07
java后端
Dolphinscheduler集成Flink任务踩坑记录
taskAppId=TASK-10-108-214]:[138]-->java.lang.NoClassDefFoundError:org/apache/flink/streaming/connectors/
kafka
若小鱼
·
2025-02-08 22:52
大数据
big
data
flink
kafka
集群为什么依赖 zookeeper ?
kafka
集群为什么依赖zookeeper?在
Kafka
集群中,ZooKeeper扮演了关键的角色,负责协调和管理
Kafka
的分布式系统。
将臣三代
·
2025-02-08 10:55
kafka
zookeeper
分布式
什么是
Kafka
?有什么主要用途?
Kafka
是一个分布式流处理平台,最初由LinkedIn开发并开源,后来成为Apache软件基金会的一个顶级项目。它被设计用于高吞吐量、持久性、分布式的数据流处理。
还能在学一小时
·
2025-02-08 09:51
十四
Kafka
kafka
分布式
Apache
Kafka
:高吞吐分布式流平台的深度解析
流数据时代的挑战在实时推荐、物联网数据处理、金融交易监控等场景中,传统消息队列面临三大核心挑战:海量数据吞吐:日均千亿级消息处理需求超低延迟要求:毫秒级端到端传递延迟数据持久保障:故障恢复后消息零丢失Apache
Kafka
lozhyf
·
2025-02-08 04:07
学习
工作
分布式
apache
kafka
Kafka
之事务消息
前言:在分布式消息系统中,事务消息也是一个热门课题,在项目的实际业务场景中,如果用到事务消息的场景也不少见,那
Kafka
作为一个高性能的分布式消息中间件,同样也支持事务消息,本篇我们将对
Kafka
的事务消息展开讨论
码农爱java
·
2025-02-08 04:09
Kafka
Kafka
MQ
消息中间件
事务消息
微服务
Spring
Boot
Cilium系列-15-7层网络CiliumNetworkPolicy简介
在Cilium中,可以为不同的协议(包括HTTP、
Kafka
和DN
·
2025-02-08 02:56
kafka
控制器是什么?有什么作用?思维导图 代码示例(java 架构)
Kafka
控制器(Controller)是
Kafka
集群中的一个特殊节点,它负责协调和管理集群内的一系列关键操作。
用心去追梦
·
2025-02-07 23:08
kafka
java
架构
项目中常用中间件有哪些?分别起什么作用?
在项目开发中,常用的中间件包括消息中间件、缓存中间件、数据库中间件等,以下是一些常见的中间件及其作用:消息中间件
Kafka
:一般用于处理大规模的消息数据,具有高吞吐量、低延迟的特点,适用于日志收集、消息队列等场景
静静在思考
·
2025-02-07 22:07
中间件
中间件
Kafka
:学习
Kafka
如何保证可靠性
一、读前需知针对
Kafka
消息重复的场景与解决方法的思路均来自@老周聊架构聊聊
Kafka
:
Kafka
如何保证可靠性,我仅以一个初学者的视角进行笔记和总结,非常感谢作者的分析。
·
2025-02-07 22:18
kafka
Kafka
和 RocketMQ 对比总结
Kafka
和RocketMQ对比总结1.主要区别特性
Kafka
RocketMQ设计目标高吞吐量、分布式日志系统金融级消息队列,强调消息可靠性和事务消息模型基于分区(Partition)的发布-订阅模型基于主题
·
2025-02-07 21:43
kafkarocketmq
一文搞懂
Kafka
的设计与实现
作者:禅与计算机程序设计艺术1.背景介绍Apache
Kafka
是一个开源流处理平台,主要用于实时数据传输、存储、分析和应用的一种分布式消息系统。
AI天才研究院
·
2025-02-07 21:27
AI大模型企业级应用开发实战
Java实战
编程实践
大数据
人工智能
语言模型
Java
Python
架构设计
大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想
目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)
Kafka
m0_74823336
·
2025-02-07 16:57
面试
学习路线
阿里巴巴
大数据
架构
Debezium系列之:处理decimal数据类型org.apache.
kafka
.connect.data.Decimal
Debezium系列之:处理decimal数据类型org.apache.
kafka
.connect.data.Decimal一、背景二、Debezium处理decimal数据类型三种方式三、precise
快乐骑行^_^
·
2025-02-07 08:00
debezium
Debezium系列
decimal数据类型
kafka.connect
data.Decimal
深度解读
Kafka
数据可靠性
Kafka
起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。
程序の之道
·
2025-02-07 06:17
kafka
hive
yarn
spark
hadoop
【
kafka
】
kafka
的动态配置管理使用和分析
该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新)
Kafka
中的动态配置源码分析
kafka
知识图谱:
Kafka
知识图谱大全
kafka
管控平台推荐使用滴滴开源的
Kafka
运维管控平台(戳我呀)
石臻臻的杂货铺
·
2025-02-07 06:16
Kafka
kafka
运维
Kafka
源码解剖
1、
Kafka
源码解刨生产者会将数据封装成ProducerRecord对象,进行序列化操作后便会根据默认分区规则(轮询策略)。
纸短情长恋曲
·
2025-02-07 06:45
kafka
大数据
java
架构师⾯试题 -
Kafka
专题篇
1.
KAFKA
是什么?..........................................................................................
cesske
·
2025-02-07 05:15
kafka
分布式
Kafka
设计之生产者与消费者
vs拉取(Pull)3.2.消费者定位(ConsumerPosition)3.3.离线数据加载(OfflineDataLoad)3.4.静态成员身份(StaticMembership)一.前言接上一篇《
Kafka
流华追梦
·
2025-02-07 05:14
Kafka
kafka
生产者设计
负载均衡
异步发送
消费者设计
推送和拉取
离线数据加载
图解
Kafka
网络层源码实现机制之收发消息全过程
针对JavaNIO的SocketChannel,
kafka
是如何封装统一的传输层来实现最基础的网络连接以及读写操作的?剖析
Kafka
Channel是如何对传输层、读写buffer操作进行封装的?
炫酷盖茨猫先生
·
2025-02-07 05:14
后端
kafka
java
大数据
分布式
数据库
【
kafka
实战】05
Kafka
消费者消费消息过程源码剖析
1.概述
Kafka
消费者(Consumer)是
Kafka
系统中负责从
Kafka
集群中拉取消息的客户端组件。消费者消费消息的过程涉及多个步骤,包括消费者组的协调、分区分配、消息拉取、消息处理等。
suyukangchen
·
2025-02-07 05:41
kafak实战
kafka
linq
分布式
15.
kafka
常见报错
1.UnknownTopicOrPartitionExceptionorg.Nginx.
kafka
.common.errors.UnknownTopicOrPartitionException:Thisserverdoesnothostthistopic-partition
小黑要上天
·
2025-02-07 00:36
Kafka
kafka
分布式
设计模式-观察者模式
常见有RabbitMQ、ActiveMQ、
Kafka
等他们的特点也有很多比如解偶、异步、广播、削峰等等多种优势特点。
养歌
·
2025-02-06 17:53
java
观察者模式
中间件
java
你说通过
Kafka
AdminClient获取Lag会有性能问题?尊嘟假嘟0.o
0.前言前阵子团队里出了个大故障,本质是因为其他语言实现的client有问题,非常频繁的请求大量元数据,而
Kafka
服务端这边也没有做什么限制,导致
Kafka
Broker宕了。
·
2025-02-06 13:04
javakafka大数据
30、Flink中操作已经配置好的远程文件系统
publicstaticLongget
Kafka
OffsetFromHoodie2(S
梦想养猫开书店
·
2025-02-06 08:50
胡思乱想
flink
华为云
kafka
-eagle-2.0.3:Note:
Kafka
version is - or JMX Port is -1 maybe
kafka
broker jmxport disable.
kafka
-eagle-2.0.3无法获取
kafka
集群信息
kafka
开启JMX,这样就可以通过
kafka
-eagle查看
kafka
集群状态。
快乐骑行^_^
·
2025-02-06 06:42
大数据
kafka-eagle
【
Kafka
】Window下
kafka
开启JMX监控
1.概述因为需要,需要在windows下开启
kafka
,然后
kafka
开启JMX监控同样是修改
kafka
-server-start文件,但是修改的是
kafka
-server-start.batIF["%
九师兄
·
2025-02-06 06:09
kafka
开启jmx port,报错端口被占用
KAFKA
开启JMX_PORT后,在使用
kafka
命令行工具(
kafka
-topics、
kafka
-console-consumer.sh等)时,会报端口被占用的异常,如:bash-5.1#/opt/
kafka
假装是只熊
·
2025-02-06 06:39
kafka
java
Kafka
开启JMX监控
在
kafka
的安装目录bin下找到启动脚本
kafka
-run-class.sh编辑
kafka
-run-class.shJMX_PORT=9527//在脚本第一行添加JMX端口-Djava.rmi.server.hostname
程序员众推
·
2025-02-06 06:39
杂记
kafka
jmx
kafka
不支持读写分离的原因
前段时间在看
kafka
相关内容,发现
kafka
“所有的”读写流量都在主partition上,从partition只负责备份数据。那么为什么
kafka
从partition不跟其他中间件一样承接读流量?
·
2025-02-06 01:23
kafka
Kafka
的安装及相关操作命令
文章目录前言一、安装
kafka
1.下载
kafka
2.解压
kafka
3.配置环境变量二、
kafka
相关命令1.启动zk2.启动
Kafka
Broker3.创建主题4.列出所有主题5.查看主题详情6.删除主题
凡许真
·
2025-02-05 23:41
kafka
0.10.2.1
操作命令
mac
单机版
【
kafka
】
kafka
docker jmx 远程连接 跨容器
1.概述前情提要:【Java】javajmx入门案例【
kafka
】java使用jmx监控
Kafka
【
Kafka
】Window下
kafka
开启JMX监控2.远程连接
kafka
jxm远程连接我是docker
九师兄
·
2025-02-05 23:40
kafka
docker
jmx
远程连接
Kafka
启用 JMX
以下是在
Kafka
服务启动时启用JMX的步骤:找到
Kafka
的启动脚本,通常在
Kafka
安装目录的bin子目录下编辑启动脚本(例如
kafka
-server-start.sh),在其中设置JMX参数。
cyw8998
·
2025-02-05 23:39
kafka
分布式
Zabbix5.0LTS配置Apache
Kafka
by JMX模板监控
Kafka
目录部署环境安装zabbix-java-gateway编译安装zabbix-java-gateway修改zabbix-java-gateway配置settings.sh修改Zabbixserver配置文件
Kafka
ErbaoLiu
·
2025-02-05 23:39
Prometheus
kafka
zabbix5.0
zabbix监控kafka
JMX
kafka
的高可用情况下,挂掉一个节点,为什么消费者消费不到数据了
1.假设有
kafka
集群,3个broker
kafka
集群
kafka
01
kafka
02
kafka
032.创建topictest(分区3副本3)
kafka
-topics.sh--create--topic'test
黄土高坡上的独孤前辈
·
2025-02-05 21:55
Kafka
开源项目推荐:基于Lambda架构的大数据管道
开源项目推荐:基于Lambda架构的大数据管道big-data-pipeline-lambda-archAfullbigdatapipeline(LambdaArchitecture)withSpark,
Kafka
柳旖岭
·
2025-02-05 16:53
Kafka
架构
引言
Kafka
凭借其独树一帜的分区架构,在消息中间件领域展现出了卓越的性能表现。
优人ovo
·
2025-02-04 22:41
kafka
架构
分布式
Kafka
SSL(TLS)安全协议
文章目录
Kafka
SSL(TLS)安全协议1.
Kafka
SSL的作用1.1数据加密1.2身份认证1.3数据完整性1.4防止中间人攻击1.5确保安全的分布式环境1.6防止拒绝服务(DoS)攻击2.
Kafka
SSL
王多鱼的梦想~
·
2025-02-04 21:06
Kafka修炼手册
kafka
ssl
安全
golang 操作 docker 中
kafka
阅读目录docker中安装
kafka
Kafka
和ZooKeeper的关系
Kafka
两种订阅模式zookeeper安装1、在docker中拉取zookeeper镜像2、运行zookeeper服务3、查看docker
知其黑、受其白
·
2025-02-04 16:23
golang
docker
kafka
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他