E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
FLINK
Flink
重启策略
当任务失败时,
Flink
需要重新启动失败的任务和其他受影响的任务,才能将任务恢复到正常状态。
sf_www
·
2024-01-26 08:38
flink
flink
大数据
big
data
flink
中的重启策略
背景在
flink
宣布作业失败的时候往往会进行重试,本文就来记录下
flink
中的几种重启策略
flink
失败重启策略1.固定延时重启这种重启策略会重启固定的次数,每两次重启之间会间隔固定的时间间隔,如果失败次数达到了配置的次数限制
lixia0417mul2
·
2024-01-26 08:34
flink
flink
大数据
流式湖仓增强,Hologres +
Flink
构建企业级实时数仓
2023年12月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+
Flink
构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新
Apache Flink
·
2024-01-26 06:15
flink
大数据
基于
Flink
的实时数仓在曹操出行运营中的应用
本文整理自曹操出行基础研发部负责人史何富,在
Flink
ForwardAsia2023主会场的分享。
Apache Flink
·
2024-01-26 06:15
flink
大数据
阿里云
Flink
sql 基本使用手册
参考文档参考实时计算
Flink
版-帮助中心-阿里云https://help.aliyun.com/product/45029.html1维度表CREATETEMPORARYTABLEdatahub_source
中本聪
·
2024-01-26 06:38
互联网
阿里云
flink
sql
blink
大数据
阿里云
Flink
原理分析与应用:深入探索 MongoDB Schema Inference
本文整理自阿里云
Flink
团队归源老师关于阿里云
Flink
原理分析与应用:深入探索MongoDBSchemaInference的研究,内容主要分为以下四部分:MongoDB简介社区MongoDBCDC核心特性
Apache Flink
·
2024-01-26 06:25
阿里云
flink
mongodb
Apache
Flink
1.13.x HA集群部署
Flink
简介
Flink
起源于Stratosphere项目,Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014年4月Stratosphere
willops
·
2024-01-26 04:52
bigdata
hadoop
大数据
【尚硅谷Java版】
Flink
1.13之自定义Source
【尚硅谷Java版】
Flink
1.13之自定义Source一、基础环境上一篇文章(地址:https://blog.csdn.net/junR_980218/article/details/125798564
努力搬砖的猪头
·
2024-01-26 04:22
从0到1学Flink
java
flink
Flink
1.13集成Hadoop3.x以上版本
文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建
Flink
的HA高可用集群后,打不开webUI界面出现问题打开log日志查看org.apache.
flink
.core.fs.UnsupportedFileSystemSchemeException
未来影子
·
2024-01-26 04:22
Flink
hadoop
hdfs
flink
flink
1.13.0 环境搭建
#
flink
部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注:yarn模式需要依赖hadoop环境,搭建请参考:https:/
AinUser
·
2024-01-26 04:50
flink
hadoop
flink
yarn
k8s
standalone
Flink
1.13.x+iceberg环境搭建
1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64exportPATH=$PATH:$JAVA_HOME/binexportHADOOP_HOME=/home/h
姚贤贤
·
2024-01-26 02:22
大数据
flink
hive
hadoop
iceberg
1.13
flink
1.13.x集成 CDC 2.3.0
使用
flink
1.13.0和CDC2.3.0的demopublicclassTMySqlCDC{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv
夏夏夏果
·
2024-01-26 02:22
flink
源码篇
大数据
flink
数据库
mysql
大数据
Flink
1.13部署指南:深入解析单机与集群模式
目录运行模式1.会话模式(SessionMode)2.单作业模式(Per-JobMode)3.应用模式(App
数据与后端架构提升之路
·
2024-01-26 02:21
#
Flink
kubernetes
运维
大数据
Flink
报错NoSuchMetchod的错误
问题原因一般有两种:确实没有这个jar包导致
Flink
版本和connector版本不一致导致我的问题是
Flink
版本和Connector版本不一致导致的,其实
Flink
服务端用的版本是1.9.0,而kafkaConnector
斗鱼_191f
·
2024-01-26 02:32
Flink
10:
Flink
支持的数据类型
Flink
流应用程序处理的是以数据对象表示的事件流。所以在
Flink
内部,我们需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。
勇于自信
·
2024-01-25 22:46
Flink
基础系列24-
Flink
的Window
一.
Flink
Window1.1概述image.pngstreaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而window是一种切割无限数据为有限块进行处理的手段
只是甲
·
2024-01-25 22:53
Flink
源码之新 Source 架构
Flink
源码分析系列文档目录请点击:
Flink
源码分析系列文档目录背景
Flink
原先数据源一直使用的是SourceFunction。
AlienPaul
·
2024-01-25 21:39
基于 Hologres+
Flink
的曹操出行实时数仓建设
云布道师曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台,主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师
·
2024-01-25 20:23
阿里云
Spring SpEL在
Flink
中的应用-与Filter结合实现数据动态分流
文章目录前言一、POM依赖二、主函数代码示例三、FilterFunction实现总结前言SpEL表达式与
Flink
fiter结合可以实现基于表达式的灵活动态过滤。
shandongwill
·
2024-01-25 19:44
#
Flink
大数据
flink
java
大数据
后端
按键分区处理函数(KeyedProcessFunction)
目录按键分区处理函数1.定时器(Timer)和定时服务(TimerService)2.KeyedProcessFunction的使用按键分区处理函数在
Flink
程序中,为了实现数据的聚合统计或开窗计算等功能
佛系爱学习
·
2024-01-25 18:31
flink知识点
大数据
flink
Flink
状态编程之按键分区状态
简介在实际应用中,我们一般都需要将数据按照某个key进行分区,然后再进行计算处理;所以最为常见的状态类型就是KeyedState。之前介绍到keyBy之后的聚合、窗口计算,算子所持有的状态,都是KeyedState。另外,我们还可以通过富函数类(RichFunction)对转换算子进行扩展、实现自定义功能,比如RichMapFunction、RichFilterFunction。在富函数中,我们可
吃草料的羊
·
2024-01-25 14:13
flink
Flink
1.17总结
1.
Flink
介绍1.
Flink
和SparkStreaming区别2.
Flink
分层API3.WordCount案例需求:写一个文本,统计出单词的个数1.使用
flink
批处理查看WordCountBatchDemo
asxyyjh
·
2024-01-25 14:29
大数据
flink
java
【
Flink
-1.17-教程】-【五】
Flink
中的时间和窗口(1)窗口(Window)
【
Flink
-1.17-教程】-【五】
Flink
中的时间和窗口(1)窗口(Window)1)窗口的概念2)窗口的分类2.1.按照驱动类型分2.2.按照窗口分配数据的规则分类2.2.1.滚动窗口(TumblingWindow
bmyyyyyy
·
2024-01-25 14:58
Flink
flink
大数据
#flink-window
#flink-窗口
#窗口函数
#窗口api
【
Flink
-1.17-教程】-【四】
Flink
DataStream API(6)转换算子(Transformation)【合流】
【
Flink
-1.17-教程】-【四】
Flink
DataStreamAPI(6)转换算子(Transformation)【合流】1)联合(Union)2)连接(Connect)2.1.连接流(ConnectedStreams
bmyyyyyy
·
2024-01-25 14:58
Flink
flink
java
#flink合流
#flink-union
#flink-connect
大数据
#datastream-api
流批一体计算引擎-7-[
Flink
]的DataStream连接器
参考官方手册DataStreamConnectors1DataStream连接器概述一、预定义的Source和Sink一些比较基本的Source和Sink已经内置在
Flink
里。
皮皮冰燃
·
2024-01-25 14:56
Flink
flink
flink
-17
flink
集成kafka
flink
集成kafka前言kafka作为
flink
的sourcekafka作为
flink
的sinkpom依赖官网前言
Flink
提供了一个特有的kafkaconnector去读写kafkatopic的数据
爱吃甜食_
·
2024-01-25 14:55
Flink
【
Flink
-1.17-教程】-【五】
Flink
中的时间和窗口(2)时间语义
【
Flink
-1.17-教程】-【五】
Flink
中的时间和窗口(2)时间语义1)
Flink
中的时间语义2)时间语义的分类2.1.处理时间(processtime)2.2.摄取时间(ingestiontime
bmyyyyyy
·
2024-01-25 14:52
Flink
flink
大数据
#flink-时间语义
#事件时间
#摄入时间
#处理时间
【
Flink
-1.17-教程】-【四】
Flink
DataStream API(7)输出算子(Sink)
【
Flink
-1.17-教程】-【四】
Flink
DataStreamAPI(7)输出算子(Sink)1)连接到外部系统2)输出到文件3)输出到Kafka4)输出到MySQL(JDBC)5)自定义Sink
bmyyyyyy
·
2024-01-25 12:08
Flink
flink
大数据
#flink-sink
#datastream-api
#flink自定义sink
Flink
状态应用测试程序示例
Flink
状态应用测试程序示例1.创建执行环境//1.创建执行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
公子乂
·
2024-01-25 12:35
flink
java
大数据
Flink
API开发之
Flink
SQL
一.代码中使用
Flink
SQL需要引入的依赖org.apache.
flink
flink
-table-api-java-bridge${
flink
.version}这里的依赖是一个Java的“桥接器”(bridge
Appreciate(欣赏)
·
2024-01-25 11:27
Flink
java
java
flink
大数据
大数据技术-Hudi学习笔记
目录hudi学习相关文档hudi源码编译Hudi基本使用操作步骤集成
Flink
-SQL-Client方式环境准备数据写入集成
Flink
-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步
笑一笑、
·
2024-01-25 09:51
BigData
大数据
学习
hive
Hudi学习笔记2 - Hudi配置
Flink
SqlConfigs
Flink
SQLsource/sinkconnectors的配置,如:index.type、write.tasks、write.operation、clean.policy
一见
·
2024-01-25 09:39
flink
hudi
spark
学习
笔记
大数据
Hudi学习笔记2 - Hudi配置之
Flink
SQL配置
Flink
SqlConfigs配置项是否必须默认值配置说明pathYN/AHudi表的basepath,如果不存在会创建,否则应是一个已初始化成功的hudi表read.end-commitYN/Aread.start-commitYN
一见
·
2024-01-25 09:39
flink
hudi
学习
笔记
hive
Hudi学习笔记(一)
大数据发展背景Hudi用于管理分布式文件系统上大型分析数据集存储,支持Spark和
Flink
整合。它能够是DFS数据集在分钟级时延内支持变更,也支持下游系统对这个数据集的增量处理。
一一|一一一亅
·
2024-01-25 09:37
学习
笔记
Flink
重点难点:
Flink
任务综合调优(Checkpoint/反压/内存)
CheckPoint调优
Flink
中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制,Checkpoints可以将同一时间点作业/算子的状态数据全局统一快照处理,包括前面提到的算子状态和键值分区状态
程序员的隐秘角落
·
2024-01-25 02:10
【大数据】
Flink
系统架构
Flink
系统架构1.
Flink
组件1.1JobManager1.2ResourceManager1.3TaskManager1.4Dispatcher2.应用部署2.1框架模式2.2库模式3.任务执行
G皮T
·
2024-01-25 02:56
#
Flink
大数据
flink
系统架构
JobManager
TaskManager
ResourceManager
Apache Calcite原理极简入门
ApacheCalcite是独立于存储与执行的SQL解析、优化引擎,广泛应用于各种离线、搜索、实时查询引擎,如Drill、Hive、Kylin、Solr、
flink
、Samza等。
longLiveData
·
2024-01-25 00:14
PiflowX-JdbcCatalog组件
JdbcCatalog组件组件说明通过JDBC协议将
Flink
连接到关系数据库,目前支持PostgresCatalog和MySQLCatalog。
PiflowX
·
2024-01-24 22:48
flink
大数据
spark
hadoop
big
data
IDEA报错:No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.
idea编辑
flink
连接kafka读取数据时报错:NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment
唯一2333
·
2024-01-24 09:09
flink
kafka
idea
Flink
编程——最小程序MiniProgram
最小程序MiniProgram前面我们已经搭建起了
Flink
的基础环境,这一节我们就在上一节的基础上,进行编写我们的第一个
Flink
程序,开始之前我们先看一下一个完整的
Flink
程序是什么样的
Flink
不二人生
·
2024-01-24 08:41
#
Flink
编程
flink
大数据
Flink
运行架构以及容错机制
Flink
运行架构以及容错机制1.
Flink
的角色区分1.1JM1.2TM1.3SLOT2.
Flink
-Cluster模式的任务提交流程2.1
Flink
OnYarn的任务提交流程2.1.1yarn相关概念
李姓门徒
·
2024-01-24 07:42
Flink
大数据
flink
架构
大数据
【极数系列】
Flink
初相识(01)
#【极数系列】
Flink
初相识(01)引言
Flink
官网:https://
flink
.apache.org/
Flink
版本:https://
flink
.apache.org/blog/
Flink
文档:https
浅夏的猫
·
2024-01-24 07:18
极数系列
flink
大数据
java
分布式
【极数系列】
Flink
环境搭建(02)
【极数系列】
Flink
环境搭建(02)引言1.linux直接在linux上使用jdk11+
flink
1.18.0版本部署2.docker使用容器部署比较方便,一键启动停止,方便参数调整3.windows
浅夏的猫
·
2024-01-24 07:18
极数系列
flink
大数据
数据分析
【
Flink
-1.17-教程】-【四】
Flink
DataStream API(5)转换算子(Transformation)【分流】
【
Flink
-1.17-教程】-【四】
Flink
DataStreamAPI(5)转换算子(Transformation)【分流】1)使用filter简单实现2)使用侧输出流实现所谓“分流”,就是将一条数据流拆分成完全独立的两条
bmyyyyyy
·
2024-01-24 07:48
Flink
flink
java
算法
#flink-分流
#flink-侧输出流
#datastream-api
大数据
Flink
多流转换(1)—— 分流&合流
目录分流代码示例使用侧输出流合流联合(Union)连接(Connect)简单划分的话,多流转换可以分为“分流”和“合流”两大类目前分流的操作一般是通过侧输出流(sideoutput)来实现,而合流的算子比较丰富,根据不同的需求可以调用union、connect、join以及coGroup等接口进行连接合并操作分流将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream,得到
THE WHY
·
2024-01-24 07:47
Flink
大数据
flink
java
python
大数据
flink
-java使用介绍,
flink
,java
1、环境准备文档:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.18/zh/仓库:https://github.com/apache/
flink
raoxiaoya
·
2024-01-24 07:47
Java
flink
java
大数据
Flink
(十五)【
Flink
SQL Connector、savepoint、CateLog、Table API】
1、常用Connector读写之前我们已经用过了一些简单的内置连接器,比如'datagen'、'print',其它的可以查看官网:Overview|Apache
Flink
环境准备:#1.先启动hadoopmyhadoopstart
让线程再跑一会
·
2024-01-24 07:17
Flink
flink
大数据
记一次
Flink
通过Kafka写入MySQL的过程
一、前言总体思路:source-->transform-->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。思路:pom部分放到最后面。二、方案及代码实现2.1Source部分Source部分构建一个web对象用于保存数据等操作,代码
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
spark-
flink
设计思想之吸星大法-1
Spark和
Flink
都是大数据处理框架,它们的设计思想有一些不同之处。以下是对它们设计思想的简要对比:数据模型和计算模型:Spark:Spark使用弹性分布式数据集(RDD)作为其核心数据结构。
{BOOLEAN}
·
2024-01-24 07:47
spark
flink
大数据
【极数系列】
Flink
项目入门搭建(03)
【极数系列】
Flink
项目入门搭建(03)引言gitee地址:https://gitee.com/shawsongyue/aurora.git源码直接下载可运行,模块:aurora_
flink
Flink
浅夏的猫
·
2024-01-24 07:16
极数系列
flink
大数据
java
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他