E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
FLINK
Dinky × Jiron:打造高效智能的数据处理平台
JironGitHub地址https://github.com/642933588/jiron-cloudhttps://gitee.com/642933588/jiron-cloud将基于Apache
Flink
jiron开源
·
2025-03-15 09:26
平台开发
flink
大数据
hive
数据仓库
kafka
etl工程师
clickhouse
数据分析大数据面试题大杂烩01
银行统计营收和针对用户的个人画像:处理大量非实时数据政府:健康码,扫码之后确诊,找出与确诊对象有关联的人订单订单表(除商品以外所有信息),商品详情表,通过搜集用户title进行定制化推荐点击流数据通过埋点进行用户点击行为分析
FLINK
爱学习的菜鸟罢了
·
2025-03-15 09:19
大数据
flink
大数据
面试
hive
hadoop
kafka
Different number of columns
org.apache.
flink
.client.program.ProgramInvocationException:Themainmethodcausedanerror:Columntypesofqueryresultandsinkforregisteredtable
sunyaox
·
2025-03-15 06:23
flink
flink异常
基于
Flink
的海量日志实时处理系统的实践
海量日志实时处理需求分析在11.5节中讲解了
Flink
如何实时处理异常的日志,在那节中对比分析了几种常用的日志采集工具。
zhisheng_blog
·
2025-03-14 11:09
大数据实时计算引擎
Flink
实战与性能优化
Java_实例变量和局部变量及this关键字详解
最近得看看Java,想学一学
Flink
实时的东西了,当然Scala语法也有这样的规定,简单看一下这两个吧,都比较容易忽视实例变量和局部变量实例变量和局部变量是常见的两种变量类型,区别作用域:实例变量:实例变量属于类的实例
Matrix70
·
2025-03-13 17:05
Java
java
开发语言
Flink
架构组件JobManager和TaskManager
JobManager和TaskManager交互通过Task对象ActorSystem是Akka最重要的一个组件。JobDispatcher负责接收Client提交的JobGraph对象,然后拆分成不同的作业,提交到TaskManager.这个过程会涉及到Job的分发。standlone模式和yarn模式的ResourceManager是不同的实现。TaskManager启动后会主动向JobMan
m0_37651941
·
2025-03-13 17:31
flink
架构
大数据
flink
读kafka写入mysql_
Flink
1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL
上周六在深圳分享了《
Flink
SQL1.9.0技术内幕和最佳实践》,会后许多小伙伴对最后演示环节的Demo代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。
苏远岫
·
2025-03-13 10:14
Flink
1.17.2 版本用 java 读取 starrocks
文章目录方法一:使用
Flink
JDBC连接器(兼容MySQL协议)方法二:使用StarRocks
Flink
Connector(推荐) 在
Flink
1.17.2中使用Java读取StarRocks数据,
小强签名设计
·
2025-03-13 09:38
flink
java
python
Flink
SQL 读取 Kafka 数据到 Mysql 实战
Flink
1.9.2SQL读取Kafka数据到Mysql实战案例需求通过
Flink
sql使用DDL的方式,实现读取kafka用户行为数据,对数据进行实时处理,根据时间分组,求PV和UV,然后输出到mysql
小技工丨
·
2025-03-13 09:01
大数据技术学习
flink
sql
kafka
本地docker安装zookeeper,kafka,
flink
首先安装zookeeper这里zookeeper的安装是为了去使用kafka这里我们安装的是wurstmeister的kafka和zookeeper镜像也是在hub.docker.com网站上,Star最多的kafka镜像直接在cmd执行run命令(前提是有本地docker。。。)第一次使用因为本地没有此镜像会去下载dockerrun-d--namezookeeper-p2181-twurstme
a724952091
·
2025-03-12 22:44
flink
kafka
docker
使用
flink
CDC监听 mysql 数据 到mysql报错
报错:java.lang.NoClassDefFoundError:org/apache/
flink
/table/api/TableException解决:完整依赖1.12.02.0.0org.apache.
flink
flink
-java
从零开始·
·
2025-03-12 11:05
mysql
apache
数据库
flink
flinkcdc
flink
(十一):Table&Sql实现窗口水印计算
本文属于实战,讲解
Flink
1.12版本java代码使用时间窗口加水印实现,具体需求为5秒内用户订单总数、订单最大金额、最小金额实现讲解代码结构分为5部分,准备环境env数据输入source模拟数据生成数据处理
羽落风起
·
2025-03-12 11:34
大数据
flink
flink
Flink
CDC3.3 使用 Mysql 8.4 报错
一、报错日志Causedby:io.debezium.DebeziumException:org.apache.
flink
.util.
Flink
RuntimeException:Cannotreadthebinlogfilenameandpositionvia'SHOWMASTERSTATUS
_lizhiqiang
·
2025-03-12 10:59
mysql
数据库
flink
flinkcdc
seatunnel
Flink
-DataStreamAPI-生成水印
下面我们将学习
Flink
提供的用于处理事件时间戳和水印的API,也会介绍有关事件时间、流转时长和摄取时间,下面就让我们跟着官网来学习吧一、水印策略介绍为了处理事件时间,
Flink
需要知道事件时间戳,这意味着流中的每个元素都需要分配其事件时间戳
隔着天花板看星星
·
2025-03-11 19:22
flink
大数据
分布式
flink
-cdc实时增量同步mysql数据到elasticsearch
1.环境准备mysqlelasticsearch
flink
onyarn说明:如果没有安装hadoop,那么可以不用yarn,直
大数据技术派
·
2025-03-11 19:51
#
Flink
elasticsearch
flink
mysql
flink
+kafka实现流数据处理学习
在应用系统的建设过程中,通常都会遇到需要实时处理数据的场景,处理实时数据的框架有很多,本文将以一个示例来介绍
flink
+kafka在流数据处理中的应用。
上海研博数据
·
2025-03-11 17:06
java
Flink
实时流处理入门与实践
1.2
Flink
简介Apache
Flink
是一个开源的分布式流处理框架,支持批处理和流处理。
Flink
提供了高吞吐量、低延迟和精确一次(exactly-onc
随风九天
·
2025-03-11 07:19
spring
java
Flink
实时流
kafka +
flink
+mysql 案例
mavenorg.apache.
flink
flink
-streaming-java_2.121.14
angen2018
·
2025-03-10 07:47
java
kafka
flink
数据湖架构与实时数仓实践:Hudi、Iceberg、Kafka +
Flink
+ Spark
1.引言:数据湖与数据仓库的融合趋势在大数据时代,传统的数据仓库(DataWarehouse,DW)因其强一致性和高效查询能力,一直是企业数据分析的核心。然而,随着数据量和数据类型的爆炸式增长,传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题,数据湖(DataLake)概念应运而生。数据湖能够存储原始数据,支持半结构化和非结构化数据,提供更灵活的计算框架,但其缺乏事务管理和数据一致性
晴天彩虹雨
·
2025-03-10 03:22
架构
kafka
flink
数据仓库
Flink
实战:如何计算实时热门合约
本文将通过使用
Flink
框架实现实时热门合约需求。实际业务过程中,如何判断合约是否属于热门合约,可以从以下几个方面进行分析,比如:交易数量:合约被调用的次数可以作为其热门程度的指标之一。
WuJiWeb3
·
2025-03-10 00:55
区块链链上数据分析
flink
大数据
web3
数据分析
智能合约
kafka
big
data
Hadoop、Spark、
Flink
Shuffle对比
一、Hadoop的shuffle前置知识:Map任务的数量由Hadoop框架自动计算,等于分片数量,等于输入文件总大小/分片大小,分片大小为HDFS默认值128M,可调Reduce任务数由用户在作业提交时通过Job.setNumReduceTasks(int)设置数据分配到Reduce任务的时间点,在Map任务执行期间,通过Partitioner(分区器)确定每个键值对的目标Reduce分区。默认
逆袭的小学生
·
2025-03-09 10:55
hadoop
spark
flink
大数据
Flink
(六十四):
Flink
运行时架构介绍_
flink
中涉及到的大数据组件
从以Greenplum为代表的MPP(MassivelyParallelProcessing,大规模并行处理)架构,到Hadoop、Spark为代表的批处理架构,再到Storm、
Flink
为代表的流处理架构
2401_84181942
·
2025-03-09 03:39
程序员
大数据
flink
架构
大数据运维实战指南:零基础入门与核心技术解析(第一篇)
零基础入门与核心技术解析(第一篇)系列文章目录第一篇:大数据运维概述与核心技能体系第二篇:Hadoop生态体系与集群部署实战第三篇:分布式存储系统运维与优化第四篇:资源调度框架YARN/K8s深度解析第五篇:实时计算框架
Flink
emmm形成中
·
2025-03-09 01:19
大数据
运维
快慢指针【等分链表、判断链表中是否存在环】
实现classListNode{intval;ListNodenext;ListNode(intval){this.val=val;this.next=null;}}publicclassMiddleO
fLink
edList
山风wind
·
2025-03-07 22:07
JAVA基础
链表
java
网络
flink
入门
flink
安装
flink
本地安装demo运行本地模式安装|Apache
Flink
flink
1.13.1为例:cd/optwgethttps://mirrors.advancedhosters.com/apache
Thomas2143
·
2025-03-07 19:36
总结
flink
scala
kafka
Apache
Flink
详解:流处理与批处理的强大框架
Apache
Flink
详解:流处理与批处理的强大框架Apache
Flink
是一个开源的流处理框架,旨在处理大规模数据流。
Flink
能够处理实时流数据和批处理数据,具有高吞吐量、低延迟、容错等特性。
微笑听雨。
·
2025-03-07 19:36
大数据
apache
flink
大数据
Flink
的市场竞争力:大数据浪潮中的“潜力股”还是“青铜”?
Flink
的市场竞争力:大数据浪潮中的“潜力股”还是“青铜”?嘿,各位小伙伴!今天咱来聊聊
Flink
在市场中的竞争力这个超有意思的话题。
狮歌~资深攻城狮
·
2025-03-07 19:26
大数据
【
Flink
】(二)详解
Flink
运行架构_
flink
的运行架构负荷分担是什么
因为
Flink
是用Java和Scala实现的,所以所有组件都会运行在Java虚拟机上。
2301_82242724
·
2025-03-07 18:24
flink
架构
大数据
flink
分发策略详解
一、分发策略核心逻辑与分类
Flink
的数据分发策略决定了数据在算子间上下游的传输方式,直接影响作业的并行度利用、负载均衡、网络开销。
24k小善
·
2025-03-07 18:53
flink
大数据
java
【
Flink
银行反欺诈系统设计方案】1.短时间内多次大额交易场景的
flink
与cep的实现
【
flink
应用系列】1.
Flink
银行反欺诈系统设计方案1.经典案例:短时间内多次大额交易1.1场景描述1.2风险判定逻辑2.使用
Flink
实现2.1实现思路2.2代码实现2.3使用
Flink
流处理3
*星星之火*
·
2025-03-07 18:20
Flink反欺诈
flink
大数据
flink反欺诈
【
Flink
银行反欺诈系统设计方案】4.
Flink
CEP 规则表刷新方式
【
Flink
银行反欺诈系统设计方案】4.
Flink
CEP规则表刷新方式概要1.**实现思路**2.**代码实现**2.1定义POJO2.2规则加载与动态更新2.3动态规则更新与CEP模式匹配3.
*星星之火*
·
2025-03-07 17:16
Flink反欺诈
flink
java
数据库
TiDB系列之:使用
Flink
TiDB CDC Connector采集数据
TiDB系列之:使用
Flink
TiDBCDCConnector采集数据一、依赖项二、Maven依赖三、SQLClientJAR四、如何创建TiDBCDC表五、连接器选项六、可用元数据七、特征一次性处理启动阅读位置多线程读取
快乐骑行^_^
·
2025-03-06 18:41
日常分享专栏
TiDB系列
使用Flink
TiDB
CDC
Connector采集数据
SpringBoot集成
Flink
-CDC
Flink
CDCCDC相关介绍CDC是什么?CDC是ChangeDataCapture(变更数据获取)的简称。
whiteBrocade
·
2025-03-06 18:10
spring
flink
mysql
java-activemq
kafka
elasticsearch
flink
重启策略
一、重启策略核心意义
Flink
重启策略(RestartStrategy)是容错机制的核心组件,用于定义作业在发生故障时如何恢复执行。其核心目标为:最小化停机时间:快速恢复数据处理,降低业务影响。
24k小善
·
2025-03-06 17:35
flink
大数据
java
学习
Flink
:一场大数据世界的奇妙冒险
学习
Flink
:一场大数据世界的奇妙冒险嘿,朋友们!
狮歌~资深攻城狮
·
2025-03-06 17:29
大数据
基于
Flink
CDC YAML 的 MySQL 到 Kafka 流式数据集成
这篇教程将展示如何基于
Flink
CDCYAML快速构建MySQL到Kafka的流式数据集成作业,包含整库同步、表结构变更同步的演示和特色功能的介绍。
·
2025-03-05 16:47
flink大数据实时计算
Databend 产品月报(2025年2月)
从MySQL迁移到DatabendDatabend推荐使用db-archiver进行MySQL批量迁移,使用
Flink
CDC进行实时变更数据捕获(CDC)迁移。
·
2025-03-05 15:15
数据库
Flink
CDC + Oracle Demo
本文用于说明
Flink
集成oraclecdc的方式pom.xml1.13.32.12org.apache.
flink
flink
-java${
flink
.version}provided-->org.apache.
flink
flink
-clients
缘上寒山
·
2025-03-05 12:53
flink
oracle
Flink
CEP原理与代码实例讲解
Flink
CEP原理与代码实例讲解1.背景介绍1.1什么是复杂事件处理CEP复杂事件处理(ComplexEventProcessing,CEP)是一种用于分析事件流的技术。
AI天才研究院
·
2025-03-05 11:20
计算
DeepSeek
R1
&
大数据AI人工智能大模型
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
【
Flink
银行反欺诈系统设计方案】反欺诈系统全生命周期设计
【
Flink
银行反欺诈系统设计方案】反欺诈系统全生命周期设计概要:1.事前反欺诈准备核心模块与架构:2.事中反欺诈发现与告警核心模块与架构:3.事后反欺诈事件分析核心模块与架构:4.反欺诈闭环架构设计整体技术栈
*星星之火*
·
2025-03-05 11:49
Flink反欺诈
flink
大数据
Flink
Oceanbase Connector详解
Flink
OceanBaseConnector是Apache
Flink
提供的一个用于连接OceanBase数据库的插件。
24k小善
·
2025-03-05 11:17
flink
大数据
java
小白进阶高手:使用
Flink
开发实时数仓的经验与技巧(理论结合超多实例)
Flink
作为一种流处理框架,在实时数仓的开发中发挥着关键作用。它能够处理大量实时数据流,支持复杂的事件处理、实时计算和监控,具有高吞吐、低延迟的优势。
大模型大数据攻城狮
·
2025-03-05 11:43
flink
大数据
flink开发
CEP
flink反压
flink多流
flink容错
Flink
学习方法
如果你正打算学习
Flink
,或者刚刚开始接触
Flink
,别担心,很多人都是从这个阶段走过来的今天我就来给大家分享一些学习
Flink
的建议,希望能帮到你一、了解
Flink
是什么在正式开始学习之前,我们得先搞清楚
狮歌~资深攻城狮
·
2025-03-05 10:41
大数据
Flink
CEP社区资源指南:学习与交流平台
Flink
CEP社区资源指南:学习与交流平台1.背景介绍Apache
Flink
是一个开源的分布式大数据处理引擎,支持有状态计算和准确一次的流处理语义。
AI大模型应用之禅
·
2025-03-05 10:09
DeepSeek
R1
&
AI大模型与大数据
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
深入探秘
Flink
CDC:实时数据处理的新利器
在这样的大背景下,
Flink
CDC应运而生,它作为一种强大的实时数据同步与处理工具,为大数据处理带来了全新的解决方案,在大数据生态体系中占据着举足轻重的地位。
Flink
CDC,即
Flink
Cha
lucky_syq
·
2025-03-05 10:08
大数据
大数据
flink
Flink
keyBy 算子源码与设计理念分析
今天我们来探究一下
Flink
使用keyBy算子的时候到底发生了什么,看完这篇文章,你会豁然开朗。
·
2025-03-05 03:27
java
Flink
----常见故障排除
目录常见故障排除1非法配置异常2Java堆空间异常3直接缓冲存储器异常4元空间异常5网络缓冲区数量不足6超出容器内存异常7Checkpoint失败7.1CheckpointDecline7.2CheckpointExpire8Checkpoint慢SourceTriggerCheckpoint慢:使用增量Checkpoint:作业存在反压或者数据倾斜:Barrier对齐慢主线程太忙,导致没机会做s
天冬忘忧
·
2025-03-04 21:23
Flink
大数据
flink
Flink
SQL的Top-N实战
Flink
使用OVER窗口条件和过滤条件相结合以进行Top-N查询。利用OVER窗口的PARTITIONBY子句的
听挽风讲大数据
·
2025-03-04 20:18
Flink
flink
大数据
数栈基于
Flink
CEP与规则热更新扩展的深度解析
本文通过实际案例深入探讨了
Flink
CEP在复杂事件处理中的核心作用,详细分析了其优缺点,并探讨了在实时计算平台中规则热更新的重要性和创新实现方式,旨在帮助读者更好地理解和应用
Flink
CEP。
·
2025-03-04 18:11
大数据
【大数据专题】
Flink
题库
1.简述什么是Apache
Flink
?Apache
Flink
是一个开源的基于流的有状态计算框架。
我思故我在6789
·
2025-03-04 18:37
大数据专栏
大数据
flink
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他