E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Flink
的分布式快照(检查点算法)原理--基于Chandy-Lamport算法
Flink
的恢复机制的核心就是应用状态的一致性检查点,有状态流的一致性检查点,其实就是所有状态在某个时间点的一份快照拷贝,而这个时间点应该是所有任务都恰好处理完同一个输入数据。
大地你王哥
·
2023-08-24 21:42
flink
Spark学习-事件日志EventLog
事件日志EventLog背景系统结构SparkEvent介绍事件类型事件内容事件日志事件分析背景最近工作需要使用
Flink
对Spark的应用事件日志进行处理,帮助发现Spark应用中常见异常问题,为用户提供方便快捷的常见问题排查
迷途思凡
·
2023-08-24 21:08
大数据技术
spark
flink
event
Flink
的Standalone集群部署
在上篇进行单机的Standalone部署-
Flink
的Standalone部署实战,本篇介绍
Flink
的Standalone集群部署。
梦幻通灵
·
2023-08-24 21:00
flink
大数据
Flink
流批一体计算(15):Py
Flink
Tabel API之SQL写入Sink
目录举个例子写入Sink的各种情况1.将结果数据收集到客户端2.将结果数据转换为PandasDataFrame,并收集到客户端3.将结果写入到一张Sink表中4.将结果写入多张Sink表中举个例子将计算结果写入给sink表#将TableAPI结果表数据写入sink表:result_table.execute_insert("print").wait()#或者通过SQL查询语句来写入sink表:ta
victory0508
·
2023-08-24 21:26
Flink
sql
flink
数据库
Flink
流批一体计算(16):Py
Flink
DataStream API
目录概述PipelineDataflow代码示例WorldCount.py执行脚本WorldCount.py概述Apache
Flink
提供了DataStreamAPI,用于构建健壮的、有状态的流式应用程序
victory0508
·
2023-08-24 20:25
Flink
flink
大数据
【学习笔记】尚硅谷大数据项目之
Flink
实时数仓---DWM层
DWM层第1章DWS层与DWM层的设计1.1设计思路1.2需求梳理第2章DWM层-访客UV计算2.1需求分析与思路2.2代码实现2.2.1从Kafka的dwd_page_log主题接收数据2.2.2核心的过滤代码2.2.3将过滤处理后的UV写入到Kafka的dwm_unique_visit2.2.4测试第3章DWM层-跳出明细计算3.1需求分析与思路3.1.1什么是跳出3.1.2计算跳出行为的思路
在学习的王哈哈
·
2023-08-24 17:52
大数据项目
学习
flink
大数据
16、
Flink
的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及JDBC示例(4)
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-08-24 16:54
#
Flink专栏
flink
sql
大数据
flink
sql
flink
jdbc
flink
流批一体化
flink
connector
Flink
_state 的优化与 remote_state 的探索
摘要:本文整理自bilibili资深开发工程师张杨,在
Flink
ForwardAsia2022核心技术专场的分享。
·
2023-08-24 16:40
后端flink大数据实时计算
Flink
_state 的优化与 remote_state 的探索
摘要:本文整理自bilibili资深开发工程师张杨,在
Flink
ForwardAsia2022核心技术专场的分享。
·
2023-08-24 16:40
后端flink大数据实时计算
美团增量数仓建设新进展
摘要:本文整理自美团系统研发工程师汤楚熙,在
Flink
ForwardAsia2022实时湖仓专场的分享。
·
2023-08-24 16:36
后端flink大数据实时计算
flink
sql 知其所以然(十五):改了改源码,实现了个 batch lookup join(附源码)
1.序篇
flink
sql知其所以然(十四):维表join的性能优化之路(上)附源码书接上回,上节说到了博主发现由于在
flink
sql中lookupjoin访问外部维表存在的性能问题。
程序员的隐秘角落
·
2023-08-24 15:30
Flink
-ContinuousProcessingTimeTrigger源码解析及一个小问题处理
背景工作中遇到一个需求,需要按天划分窗口,并且每隔固定时间段触发一次窗口计算,时间语义为ProcessingTime。在测试过程中发现,使用ContinuousProcessingTimeTrigger会有一个问题:当窗口到达EndTime时并不会触发。测试在本地测试时使用自造数据:类别,数量,时间。然后统计每分钟的总量,每10秒钟触发一次窗口计算,并且触发窗口计算后立即清除已经计算过的所有数据,
风筝flying
·
2023-08-24 13:13
Flink
-Basic API Concepts-overview
Flink
程序会在分布式的集合上进行各类转化操作(如,filter,map,updatestate,join,group,window,aggregate)。
耳边的火
·
2023-08-24 12:50
Flink
中批处理优化器的作用以及流程调试(一)
以批处理程序中的wordCount为例,调试一下Plan的生成以及对于优化计划OptimizedPlan的转化过程。至于如何进入Execute接口的上述过程将要放到以后进行说明,直接从生成批处理计划Plan开始:LocalExecutor类的一个方法我们可以见到当用户使用env.ecxecute()的时候,进入Localexecutor类生成Plan,Planp来接收createProgramPl
北子萌
·
2023-08-24 11:20
flink
checkpoint时exact-one模式和atleastone模式的区别
背景:
flink
在开启checkpoint的时候有两种模式可以选择,exact-one和atleastone模式,那么这两种模式有什么区别呢?
lixia0417mul2
·
2023-08-24 06:47
flink
flink
大数据
对比
flink
cdc和canal获取mysql binlog优缺点
Flink
CDC和Canal都是用于获取MySQLbinlog的工具,但是有以下几点优缺点对比:
Flink
CDC是一个基于
Flink
的库,可以直接在
Flink
中使用,无需额外的组件或服务,而Canal是一个独立的服务
linweidong
·
2023-08-24 06:47
flink
mysql
大数据
Flink
CDC获取mysql 主从分库,分库分表的binlog
Flink
CDC可以获取MySQL主从分库,分库分表的binlog,但是需要注意以下几点:
Flink
CDC需要配置MySQL的binlog模式为row,以及开启GTID(全局事务标识符),以便正确地识别和处理
linweidong
·
2023-08-24 06:46
flink
mysql
大数据
flink
cdc初始全量速度很慢原因和优化点
flink
cdc初始全量速度很慢的原因之二是,它使用了Debezium作为捕获数据变化的引擎,而Debezium在读取数据时,会使用全局锁或者快照隔离级别,这样会影响源端数据库的性能和并发能力。
linweidong
·
2023-08-24 06:14
flink
大数据
Apache StreamPark系列教程第一篇——安装和体验
一、StreamPark介绍实时即未来,在实时处理流域ApacheSpark和Apache
Flink
是一个伟大的进步,尤其是Apache
Flink
被普遍认为是下一代大数据流计算引擎,我们在使用
Flink
诸葛子房_
·
2023-08-24 04:58
Flink
大数据
Dinky:问题总结
一、启动时指定
flink
版本,因为dinky本身也集成了部分
flink
./auto.shstart1.12二、数据源管理新增mysql时的urljdbc:mysql://ip:3306/dinky?
Joseph25
·
2023-08-24 04:25
Dlinky
Flink
:
Flink
Sql 问题总结
问题一,连接kudu,org.apache.kudu.shaded.com.google.common.collect.Sets解决:缺jar包,将kudu-client放到%
flink
_home%/lib
Joseph25
·
2023-08-24 04:25
flink
【
Flink
】
Flink
架构及组件
我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件对于大数据
Flink
,架构图图下:整个架构图有三种关键组件1、Client:负责作业的提交。
一杯咖啡半杯糖
·
2023-08-24 04:25
Flink实战
flink
大数据
【
Flink
】工程搭建(java版)
不论是开发还是自己测试,都需要搭建
flink
工程,下面就一步步教大家实现第一个
flink
程序1、新建一个空的maven工程
一杯咖啡半杯糖
·
2023-08-24 04:24
Flink实战
flink
大数据
【
Flink
】流数据生成器(DataGenerator)
在我们编写
Flink
程序的时候,常常需要测试自己程序的正确性以及给Kafka中造一些测试数据,那我们如何用
Flink
实现制作模拟数据呢?
一杯咖啡半杯糖
·
2023-08-24 04:24
Flink实战
flink
大数据
【
Flink
】
Flink
广播变量
在
Flink
中,taskmanager中划分不同slot,计算过程中算子在多个Slot中进行,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,Broadcast可以解决这个问题。
一杯咖啡半杯糖
·
2023-08-24 04:54
Flink实战
flink
大数据
big
data
【
Flink
】参数不生效
提交
flink
的时候使用下面命令进行提交
flink
run-myarn-cluster-Djobmanager.memory.process.size=2048mb-ccom.test.Test/data
一杯咖啡半杯糖
·
2023-08-24 04:54
Flink实战
flink
java
大数据
【
Flink
】jobmanager到底设置多少内存为好
本
flink
版本基于1.12在做
flink
开发过程中会遇到内存参数设置问题,如果设置过小会造成
flink
任务无法提交,那到底我们应该把
flink
的jobmanager设置多大才不会报错呢?
一杯咖啡半杯糖
·
2023-08-24 04:54
Flink实战
flink
大数据
【
Flink
】taskmanager到底设置多少内存为好
本
flink
版本基于1.12在做
flink
开发过程中会遇到内存参数设置问题,如果设置过小会造成
flink
任务无法提交,那到底我们应该把
flink
的taskmanager设置多大才不会报错呢?
一杯咖啡半杯糖
·
2023-08-24 04:54
Flink实战
flink
大数据
【
Flink
】Deployment took more than 60 seconds. Please check if the requested resources are available
flink
任务提交到yarn集群出现如下问题,不断刷屏org.apache.
flink
.yarn.YarnClusterDescriptor[]-Deploymenttookmorethan60seconds.PleasecheckiftherequestedresourcesareavailableintheYARNcluster
flink
run-yd-myarn-cluster-ccom.te
一杯咖啡半杯糖
·
2023-08-24 04:24
Flink实战
hadoop
big
data
hive
【
Flink
】JobInitializationException: Could not start the JobMaster
新建了一个
flink
程序,提交到yarn上报错,yarn任务直接失败,异常如下:org.apache.
flink
.util.
Flink
Exception:JobMasterforjob4df20274065bec19be8d933c760ebf44failed
一杯咖啡半杯糖
·
2023-08-24 04:24
Flink实战
flink
java
【
Flink
】Could not get job jar and dependencies from JAR file: JAR file does not exist:
问题背景:使用
flink
客户端执行
flink
提交到yarn上,输入参数-yjm等调整
flink
参数,执行后出现下面问题/data/
flink
/
flink
-1.13.2/bin/
flink
run-yjm4096m-ytm4096m-ynmtest13
一杯咖啡半杯糖
·
2023-08-24 04:23
Flink实战
flink
css
html
【
Flink
】本地访问webUI
1、加依赖org.apache.
flink
flink
-runtime-web_2.111.12.22、用下面方式创建
flink
环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.createLocalEnvironmentWithWebUI
一杯咖啡半杯糖
·
2023-08-24 04:23
Flink实战
flink
eureka
java
【
Flink
】广播流
flink
广播流适用于规则匹配,当规则数据比较少的情况,
flink
会把规则流广播,数据流就会拿到最新的规则流进行处理。
一杯咖啡半杯糖
·
2023-08-24 04:53
Flink实战
flink
css
html
【
Flink
】
FLINK
-SQL 客户端
SQL客户端一般在常规
Flink
发行版中,如果用作日常测试则启动
FLINK
-SQL需要使用以下命令启动本地集群:1、找到
FLINK
客户端的bin目录.
一杯咖啡半杯糖
·
2023-08-24 04:53
Flink实战
flink
mysql
big
data
【
Flink
】
Flink
提交流程
我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件,
Flink
实际生产开发过程中最常见的就是提交到yarn上进行调度,模式使用的Per-Job模式,下面我们就给大家讲下
Flink
提交
一杯咖啡半杯糖
·
2023-08-24 04:23
Flink实战
flink
大数据
flink
时间窗口
flink
强大的窗口功能,是相较于其他流计算引擎比较有优势的地方。
flink
中窗口是如何设计的?一共有四个要素。1)windowassigner。
NazgulSun
·
2023-08-23 18:35
Apache
Flink
——输出算子(Sink)
前言
Flink
作为数据处理框架,最终还是要把计算处理的结果写入外部存储,为外部应用提供支持。
小波同学
·
2023-08-23 13:19
大数据架构师之路
这个方法被称作Lambda架构,它通过批量MapReduce作业提供了虽有些延迟但是结果准确的计算,同时通过
flink
/Storm将最新数据的计算结果初步展示出来。
laogooooog
·
2023-08-23 11:04
笔记:写
Flink
SQL Helper时学到的一些姿势
版本日期备注1.02023.8.23文章首发前阵子向大家分享了我写的插件https://marketplace.visualstudio.com/items?itemName=CamileSin...,最近梳理了我之前的学习相关知识时的笔记,希望能够帮到对这一块实现感兴趣的同学。1.TypeScirpt开发VSCode,可以选择使用了TypeScriptorJavaScript。虽然我没学过Typ
·
2023-08-23 10:03
Flink
1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [
flink
].
问题呈现Failedtogetmetadatafortopics[
flink
].atorg.apache.
flink
.connector.kafka.source.enumerator.subscriber.KafkaSubscriberUtils.getTopicMetadata
程序员 Harry
·
2023-08-23 08:18
疑难杂症
flink
大数据
美团增量数仓建设新进展
摘要:本文整理自美团系统研发工程师汤楚熙,在
Flink
ForwardAsia2022实时湖仓专场的分享。
Apache Flink
·
2023-08-23 07:34
基于阿里云
Flink
+Hologres 搭建实时数仓
摘要:本文作者阿里云Hologres高级研发工程师张高迪&阿里云
Flink
技术内容工程师张英男,本篇内容将为您介绍如何通过实时计算
Flink
版和实时数仓Hologres搭建实时数仓。
Apache Flink
·
2023-08-23 07:33
阿里云
flink
云计算
大数据
官宣 | Apache
Flink
1.12.0 正式发布,流批一体真正统一运行!
翻译|付典Review|徐榜江、朱翥Apache
Flink
社区很荣幸地宣布
Flink
1.12.0版本正式发布!近300位贡献者参与了
Flink
1.12.0的开发,提交了超过1000多个修复或优化。
Apache Flink
·
2023-08-23 07:03
Flink
大数据
数据库
python
java
spark
Apache
Flink
实时计算在美的多业务场景下的应用与实践
摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在
Flink
ForwardAsia2022主会场的分享。
Apache Flink
·
2023-08-23 07:03
Flink
大数据
实时计算
flink
大数据
spark
scala
hbase
阿里巴巴大规模应用
Flink
的踩坑经验:如何大幅降低 HDFS 压力?
作者:邱从贤(山智)众所周知
Flink
是当前广泛使用的计算引擎,
Flink
使用checkpoint机制进行容错处理[1],
Flink
的checkpoint会将状态快照备份到分布式存储系统,供后续恢复使用
Apache Flink
·
2023-08-23 07:02
Flink
实时计算
大数据
自然语言处理
flink
kafka
spark
sql
flink
exactly-once系列之两阶段提交概述
flink
exactly-once系列目录:一、两阶段提交概述二、TwoPhaseCommitSinkFunction与
Flink
KafkaProducer源码分析三、StreamingFileSink
Flink实战剖析
·
2023-08-23 07:37
Flink
-sql平台怎么做?
2.用户udfjar包如何被
flink
客户端加载3.
flink
jm与tm如何加载udfjar1.sql何执行?
键盘上的艺术家w
·
2023-08-23 05:08
#
Flink
flink
1.
Flink
源码编译
目录目录1.1软件安装1.1.1jdk1.1.2maven1.1.3nodejs1.2下载
flink
源码1.3编译源码1.4idea打开
flink
源码1.5运行wordcount1.1软件安装软件地址链接
键盘上的艺术家w
·
2023-08-23 05:07
#
从0到1阅读Flink源码
flink
大数据
GraphScope,开源图数据分析引擎的领航者
Github地址:https://github.com/alibaba/GraphScopeGraphScope的重要特点分布式计算引擎:GraphScope基于分布式计算框架Apache
Flink
和Apac
Walter Sun
·
2023-08-23 05:50
开源
图计算
数据分析
Flink
Table API/SQL 多分支sink
两次调用execute,阿里云
Flink
vvr引擎报错:publicstaticvoidmain(String[]args){finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getEx
desmond_assis
·
2023-08-23 05:50
flink
vvr
多表sink
上一页
79
80
81
82
83
84
85
86
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他