E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
flink
on yarn指定第三方jar包
1.背景我们在将
flink
任务提交到yarn上是,通常的做法是将所有需要用到的jar包使用shade插件将其打包到一个大的jar包内,然后通过
flink
run命令来将其提交到yarn上。
第一片心意
·
2023-08-10 10:27
flink
jar
flink
yarn
flink
常见故障排除
本博客总结为B站尚硅谷大数据
Flink
2.0调优,
Flink
性能优化视频中常见故障排除的的笔记总结。
第一片心意
·
2023-08-10 10:27
flink
flink
Apache Paimon 学习笔记
1概述1.1简介
Flink
社区希望能够将
Flink
的Streaming实时计算能力和Lakehouse新架构优势进一步结合,推出新一代的StreamingLakehouse技术,促进数据在数据湖上真正实时流动起来
第一片心意
·
2023-08-10 10:55
paimon
flink
apache
学习
笔记
Flink
窗口分类简介及示例代码
SlidingWindows)3)会话窗口(SessionWindows)◆基于元素个数的(数据驱动)1)滚动窗口(TumblingWindows)2)滑动窗口(SlidingWindows)1.流式计算
Flink
阿年、嗯啊
·
2023-08-10 08:34
Flink
flink
大数据
窗口
流式计算
滚动窗口
滑动窗口
会话窗口
OceanBase X
Flink
基于原生分布式数据库构建实时计算解决方案
摘要:本文整理自OceanBase架构师周跃跃,在
Flink
ForwardAsia2022实时湖仓专场的分享。
Apache Flink
·
2023-08-10 07:01
oceanbase
flink
分布式
数据库
大数据
5 小时玩转阿里云
Flink
实时湖仓,速速报名!
阿里云
Flink
专家与传智教育高级顾问联合出品,5小时玩转阿里云
Flink
实时湖仓,项目依托于传智教育博学谷线上教育平台数字化建设场景,真实还原实时计算业务细节,学完后掌握基于阿里云的
Flink
CDC,
Apache Flink
·
2023-08-10 07:31
flink
大数据
回顾|Streaming Lakehouse Meetup · 北京站(附问题解答 & PPT 下载)
live.photoplus.cn/live/pc/53265145/#/7月29日StreamingLakehouseMeetup邀请了来自阿里巴巴、字节跳动的七位技术专家,围绕CDC数据入湖实践、
Flink
Apache Flink
·
2023-08-10 07:30
apache
大数据
flink
Flink
-Window详细讲解-countWindow
一.countWindow和countWindowall区别1.countWindow:如果您使用countWindow(5),这意味着您将数据流划分成多个大小为5的窗口。划分后的窗口如下:窗口1:[1,2,3,4,5]窗口2:[6,7,8,9,10]当每个窗口中的元素数量达到5时,将触发计算。这意味着窗口1中的计算会在处理5个元素后触发,窗口2中的计算会在处理10个元素后触发。2.countWi
远方有海,小样不乖
·
2023-08-10 07:27
Flink系列
flink
大数据
芒果 TV 基于
Flink
的实时数仓建设实践
一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段,14-19年为第一阶段,技术选型采用Storm/
Flink
Java+SparkSQL
Apache Flink
·
2023-08-10 07:26
flink
大数据
大数据-玩转数据-Sink到Kafka
一、添加KafkaConnector依赖pom.xml中添加org.apache.
flink
flink
-connector-kafka_${scala.binary.version}${kafka.version
人猿宇宙
·
2023-08-10 07:54
大数据-玩转数据-FLINK
大数据
kafka
分布式
30、
Flink
SQL之SQL 客户端(通过kafka和filesystem的例子介绍了配置文件使用-表、视图等)
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-08-10 07:52
#
Flink专栏
flink
sql
kafka
flink
流批一体化
flink
sql
flink
tabapi
flink
实时计算
大数据开发:
Flink
如何设计容错
前面我们讲了Hadoop和spark的容错设计,今天的大数据开发学习分享,我们继续来讲
Flink
又是如何设计容错的?
成都加米谷大数据
·
2023-08-10 07:57
一站式
Flink
&Spark平台解决方案——StreamX
随着
Flink
&Spark生态的不断完善,越来越多的企业选择这两款组件,或者其中之一作为离线&实时的大数据开发工具,但是在使用他们进行大数据的开发中我们会遇到一些问题,比如:任务运行监控怎么处理?
产品经理自我修养
·
2023-08-10 06:00
大数据
Flink
-间隔联结
间隔联结只支持事件时间间隔联结如果遇到迟到数据,则会关联不上,比如来了一个5秒的数据,它可以关联前2秒的数据,后3秒的数据,就是可以关联3秒到8秒的数据,然后又来了一个6秒的数据,可以关联4秒到9秒的数据,那么3秒的数据,就永远不会被关联到了,就可以删除了,然后又来了一个迟到数据,比如4秒的数据,可以关联2秒到7秒的数据,但是3秒的数据已经被删除了,所以就关联不上了。对于这种情况,解决办法就是,使
青云游子
·
2023-08-10 06:29
Flink
flink
大数据
Flink
自定义源算子之 读取MySQL
1、功能说明:在
Flink
自定义源算子中封装jdbc来读取MySQL中的数据2、代码示例
Flink
版本说明:
flink
_1.13.0、scala_2.12自定义Source算子,这里我们继承RichParallelSourceFunction
广阔天地大有可为
·
2023-08-10 05:02
#
Flink
API
使用技巧
flink
大数据
mysql
4.2、
Flink
任务怎样读取文件中的数据
1.文件的格式(txt、csv、二进制...)2.文件的分隔符(按\n分割)3.是否需要监控文件变化(一次读取、持续读取)基于以上规则,
Flink
为我们提供了非常灵活的读取文件的方法2、readT
广阔天地大有可为
·
2023-08-10 05:02
#
Flink
API
使用技巧
flink
python
前端
Flink
这里目录标题1.简介1.1.大数据计算引擎1.2、
Flink
特点1.3、流处理框架对比1.4、事件驱动型1.5、
Flink
技术栈1.6、
Flink
编程模型2、
Flink
搭建3、
Flink
运行架构3.1、
忄凝^
·
2023-08-10 05:02
大数据
flink
big
data
大数据
linux
10.大数据技术之
Flink
文章目录1、
Flink
简介1.1
Flink
的引入1.2什么是
Flink
1.3
Flink
流处理特性1.4
Flink
基石1.5批处理与流处理2、
Flink
架构体系2.1
Flink
中的重要角⾊JobManager
数据带你飞
·
2023-08-10 05:02
唐山师范学院
大数据
flink
hadoop
4、如何在
flink
任务中读取外部数据源(DataStream API)
目录1.前言1.1加载数据源的方式1.2数据源的类型1.3
Flink
中的数据类型(TypeInformation)2.从集合中读取数据3.从文件中读取数据3.1readTextFile3.2readFile4
广阔天地大有可为
·
2023-08-10 05:31
#
Flink
API
使用技巧
flink
大数据
mysql
3、
flink
计算任务在运行时可以选择哪些执行模式
目录1、什么是有界流、无界流2、什么是批执行模式、流执行模式3、怎样选择执行模式?4、怎样配置执行模式?方式1:提交计算任务时,通过参数来指定(推荐,这种方式更灵活)方式2:在Driver程序中配置执行模式(不推荐)5、这是一个完整的入门案例1、什么是有界流、无界流有界流:数据流定义了开始位置和结束位置,对一个计算任务而言,在计算前所有的输入数据都是已知的,不会有新的数据出现无界流:数据流定义了开
广阔天地大有可为
·
2023-08-10 05:31
#
Flink
API
使用技巧
flink
大数据
scala
Flink
源算子之 DataGeneratorSource & DataGenerator
目录1、功能说明2、API使用说明3、代码示例1、功能说明从
Flink
1.1开始提供了DataGen连接器,它提供了Source类的实现(可并行的源算子),用来生成测试数据,在本地开发或者无法访问外部系统
广阔天地大有可为
·
2023-08-10 05:31
#
Flink
API
使用技巧
flink
大数据
scala
Flink
流处理
Flink
流处理1.输入数据集DataSource
Flink
中可以使用StreamExecutionEnvironment.getExecutionEnvironment创建流处理的执行环境。
胜利的曙光
·
2023-08-10 05:29
Flink
flink
scala
big
data
flink
-sql所有数据类型-1.16
1.版本说明本文档内容基于
flink
-1.16.x,其他版本的整理,请查看本人博客的
flink
专栏其他文章。2.介绍
Flink
SQL有一组丰富的本地数据类型可供用户使用。
第一片心意
·
2023-08-10 05:59
flink
flink
flink
sql
flink
sql数据类型
flink
-sql所有数据类型-1.15
1.版本说明本文档内容基于
flink
-1.15.x,其他版本的整理,请查看本人博客的
flink
专栏其他文章。2.介绍
Flink
SQL有一组丰富的本地数据类型可供用户使用。
第一片心意
·
2023-08-10 05:58
flink
flink
flink
sql
flink
sql数据类型
Flink
中状态编程 完整使用 (第九章)
Flink
中状态编程完整使用一、
Flink
中的状态1、有状态算子2、状态的管理3、状态的分类1.托管状态(ManagedState)和原始状态(RawState)2.算子状态(OperatorState
小坏讲微服务
·
2023-08-10 05:56
小坏讲大数据Flink第十一章
flink
大数据
java
Flink
中的时间和窗口
时间和窗口一、时间语义1.
Flink
中的时间语义1.1处理时间(ProcessingTime)1.2事件时间(EventTime)1.3两种时间语义的对比二、水位线(Watermark)1.什么是水位线
落花雨时
·
2023-08-10 05:26
大数据
flink
大数据
hadoop
Flink
容错机制
在
Flink
中,有一套完整的容错机制(faulttolerance)来保证故障后的恢复,其中最重要的
落花雨时
·
2023-08-10 05:26
大数据
大数据
flink
数据仓库
大屏实时计算深度剖析(
Flink
入门 技术体系剖析 实战 数据处理设计方案 核心技术点)
大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.
Flink
快速入门2.1
Flink
概述2.2
Flink
基础案例2.3
Flink
部署配置2.4
Flink
Ybb_studyRecord
·
2023-08-10 05:25
大数据
flink
big
data
人工智能
实时计算
【大数据】
Flink
详解(二):核心篇 Ⅱ
Flink
详解(二):核心篇Ⅱ22、刚才提到State,那你简单说一下什么是State。在
Flink
中,状态被称作state,是用来保存中间的计算结果或者缓存数据。
G皮T
·
2023-08-10 05:54
大数据
大数据
flink
分布式计算
流计算
状态管理
4.1、
Flink
任务怎样读取集合中的数据
1、API说明非并行数据源:deffromElements[T:TypeInformation](data:T*):DataStream[T]deffromCollection[T:TypeInformation](data:Seq[T]):DataStream[T]deffromCollection[T:TypeInformation](data:Iterator[T]):DataStream[
广阔天地大有可为
·
2023-08-10 05:54
#
Flink
API
使用技巧
flink
大数据
Flink
sql 创建 视图-view
1.场景是通过
flink
sql对表的操作,通过添加多个算子对结果的操作如图:例子不是很恰当主要是我们在创建数仓表时,通过先将一个函数的结果集放到一个视图中,在通过一个一个函数将结果放入到下一个视图中,然后在通过视图
wudl
·
2023-08-10 00:41
Flink
多流处理之connect拼接流
Flink
中的拼接流connect的使用其实非常简单,就是leftStream.connect(rightStream)的方式,但是有一点我们需要清楚,使用connect后并不是将两个流给串联起来了,而是将左流和右流建立一个联系
飞天小老头
·
2023-08-09 23:45
flink
大数据
Java初学笔记(第一章)
1.2Java领域可用于应用软件,服务器端程序,安卓应用,嵌入式,
大数据框架
。1.3Java语言的特点目前重点学到的两个特点:开源性:即源代码开放且
永无魇足
·
2023-08-09 23:41
java
java
flink
事件水位线Watermark样例
{JSON,JSONObject}importorg.apache.
flink
.api.common.serialization.SimpleStringSchemaimportorg.apache.
flink
.streaming.api.TimeCharacteristicimportorg
BigData-0
·
2023-08-09 22:36
实时
flink
kafka
java
flink
1.11定义watermark 水位线 水印 新方法 替代过时assignTimestampsAndWatermarks方法
mapStream.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(3)).withTimestampAssigner(newSerializableTimestampAssigner[(Long,student)]{overridedefextractTimes
BigData-0
·
2023-08-09 22:06
flink
flink
sql连接mysql
[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.
flink
.table.api.ValidationException:Couldnotfindanyfactoryforidentifier
BigData-0
·
2023-08-09 22:36
flink
sql
Flink
之SideOutput(数据分流)
Flink
在早期版本有一个split算子用来做数据分流使用的,但是在
flink
-1.12开始这个API就已经被删除了,在1.12版本以后我们是通过process算子来做数据分流的,这里就介绍一下如何使用
飞天小老头
·
2023-08-09 20:14
flink
算法
大数据
Flink
CEP(Complex Event Processing)库
Apache
Flink
作为一个流式处理框架,也可以用于实现复杂事件处理。下面是
Flink
中实现复杂事件处理的一般原理:事件流输入:首先,
Flink
接收外部的事件流作为输入。
贾斯汀玛尔斯
·
2023-08-09 20:13
flink
flink
一文简单理解pulsar和优于kafka的两个痛点
浪尖个人2018年的时候就接触了pulsar,而且贡献了一点点代码到社区里,解决了一个和
flink
整合的bug。今天是整理一篇文章来简单介绍下pulsar。
浪尖聊大数据-浪尖
·
2023-08-09 14:57
队列
分布式
kafka
java
大数据
Flink
1.10集成Hive快速入门
Flink
从1.9开始支持集成Hive,不过1.9版本为beta版,不推荐在生产环境中使用。在最新版
Flink
1.10版本,标志着对Blink的整合宣告完成,随着对Hiv
大数据技术与数仓
·
2023-08-09 10:12
14_基于
Flink
将pulsar数据写入到HBase
3.7.基于
Flink
将数据写入到HBase3.7.1.编写
Flink
完成数据写入到Hbase操作,完成数据备份,便于后续进行即席查询和离线分析3.7.1.1.HBase基本介绍hbase是基于Google
涂作权的博客
·
2023-08-09 10:30
#
Apache
Pulsar
pulsar
15_基于
Flink
将pulsar数据写入到ClickHouse
3.8.基于
Flink
将数据写入到ClickHouse编写
Flink
完成数据写入到ClickHouse操作,后续基于CK完成指标统计操作3.8.1.ClickHouse基本介绍ClickHouse是俄罗斯的
涂作权的博客
·
2023-08-09 08:46
#
Apache
Pulsar
pulsar
Flink
两阶段提交(Two-Phase Commit)协议
Flink
两阶段提交(Two-PhaseCommit)是指在Apache
Flink
流处理框架中,为了保证分布式事务的一致性而采用的一种协议。
贾斯汀玛尔斯
·
2023-08-09 06:45
flink
flink
大数据
Flink
源码之RPC
Flink
是一个典型的Master/Slave分布式实时处理系统,分布式系统组件之间必然涉及通信,也即RPC,以下图展示
Flink
组件之间的关系:RPCGateWay一般RPC框架可根据用户业务类生成客户端和服务器端通信底层代码
ImproveJin
·
2023-08-09 06:14
BigData
flink
rpc
大数据
【
flink
】Checkpoint expired before completing.
使用
flink
同步数据出现错误Checkpointexpiredbeforecompleting.11:32:34,455WARNorg.apache.
flink
.runtime.checkpoint.CheckpointFailureManager
醇氧
·
2023-08-09 06:43
flink
大数据
scala之json数据解析
查了下资料,在spark或者
flink
中包含的有json解析工具包。如果只是scala的话,可能就需要添加上相应的json解析的包。
欧阳小伙
·
2023-08-09 06:48
大数据
scala
json
开发语言
flink
读取kafka数据存储iceberg
1、说明使用
flink
实时的读取kafka的数据,并且实时的存储到iceberg中。好处是可以一边存数据,一边查询数据。当然使用clickhouse也可以实现数据的既存既取。
欧阳小伙
·
2023-08-09 06:44
大数据
iceberg
flink
kafka
linq
cdh5.15.1集成
flink
说明
本文说明如何在已有的cdh集群上添加
flink
服务。
Demo_zfs
·
2023-08-09 04:54
基于
Flink
x TiDB,智慧芽打造实时分析新方案
摘要:本文整理自智慧芽数据仓库架构师曲明星在
Flink
ForwardAsia2021实时数仓专场的分享。
Flink中文社区
·
2023-08-09 02:20
Flink
-串讲面试题
3.
flink
运行模式standaloneyarnk8s4.
flink
部署模式(yarn)session先启动集群,再提交j
青云游子
·
2023-08-09 01:31
大数据面试题
flink
大数据
上一页
85
86
87
88
89
90
91
92
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他