E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据计算-Flink
【
flink
番外篇】16、DataStream 和 Table 相互转换示例
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchanchn
·
2024-01-14 22:59
flink
示例专栏
flink
java
大数据
flink
hive
kafka
flink
sql
flink
流与表
转换
FLINK
学习笔记(一)-- Word Count
objectWordCount{defmain(args:Array[String]):Unit={/***
flink
的运行模型*1.DataSource*2.Transformation*3.DataSink
k_wzzc
·
2024-01-14 22:15
PiflowX如何快速开发
flink
程序
PiflowX如何快速开发
flink
程序参考资料
Flink
最锋利的武器:
Flink
SQL入门和实战|附完整实现代码-腾讯云开发者社区-腾讯云(tencent.com)
Flink
SQL背景
Flink
SQL
暗影八度
·
2024-01-14 14:58
PiflowX
flink
大数据
spark
hadoop
big
data
flink
源码分析 - yaml解析
flink
版本:
flink
-1.12.1代码位置:org.apache.
flink
.configuration.GlobalConfiguration主要看下解析yaml文件的方法:org.apache.
flink
.configuration.GlobalConfiguration
zxfBdd
·
2024-01-14 13:39
大数据
flink
flink
源码分析 -
flink
命令启动分析
flink
版本:
flink
-1.12.1源码位置:
flink
-dist/src/main/
flink
-bin/bin/
flink
flink
命令源码:#!
zxfBdd
·
2024-01-14 13:28
大数据
flink
大数据
Flink
(十二)【容错机制】
前言最近已经放假了,但是一直在忙一个很重要的自己的一个项目,用JavaFX和一个大数据组件联合开发一个功能,也算不枉我学了一次JavaFX,收获很大,JavaFX它作为一个GUI开发语言,本质还是Java,所以很好的锻炼了我的Java水平、抽象能力...平常看似简单的一些概念用到实际应用当中才发现了其中的坑点,比如怎么封装、什么时候用static关键字、静态资源怎么放、哪些要反复利用的东西需要抽象
让线程再跑一会
·
2024-01-14 13:22
Flink
flink
大数据
Flink
-SQL——动态表 (Dynamic Table)
本文会讨论这种差异,并介绍
Flink
如何在无界数据集上实现与数据库引擎在有界数据上的处理具
不二人生
·
2024-01-14 13:48
#
Flink
SQL
flink
sql
flink-sql
PiflowX-DorisRead组件
计算引擎
flink
有界性目前DorisSource是有界流,不支持CDC方式读取。
暗影八度
·
2024-01-14 12:47
大数据
hadoop
flink
spark
PiflowX-DorisWrite组件
计算引擎
flink
组件分组doris端口Inport:默认端口outport:默认端口组件属性名称展示名称默认值允许值是否必填描述例子fenodesFenodes“”无是DorisFEhttp地址,支持多个地址
暗影八度
·
2024-01-14 12:15
大数据
spark
flink
hdfs
美团点评实时数仓平台演进与实践
1.摘要数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而
Flink
实时数仓在数据链路中扮演着极为重要的角色。
笔名辉哥
·
2024-01-14 02:50
Flink
CEP -
Flink
的复杂事件处理
Flink
CEP-
Flink
的复杂事件处理
Flink
CEP是在
Flink
上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型,有机会掌握数据中重要的那部分。
左美美  ̄
·
2024-01-14 00:04
flink
大数据
Flink
窗口(2)—— Window API
目录窗口分配器时间窗口计数窗口全局窗口窗口函数增量聚合函数全窗口函数(fullwindowfunctions)增量聚合和全窗口函数的结合使用WindowAPI主要由两部分构成:窗口分配器(WindowAssigners)和窗口函数(WindowFunctions)stream.keyBy().window()//指明窗口的类型.aggregate()//定义窗口具体的处理逻辑在window()方法
THE WHY
·
2024-01-13 23:36
Flink
大数据
flink
大数据
Flink
源码之OperatorChain
Flink
源码分析系列文档目录请点击:
Flink
源码分析系列文档目录前言OperatorChain是
Flink
中一个很重要的优化措施,能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成,从而最小化线程执行上下文切换和网络通信
AlienPaul
·
2024-01-13 20:35
大数据技术原理与应用 期末复习 知识点全总结(林子雨版
人类社会数据产生方式的3个阶段(三)大数据的3个发展阶段(四)大数据4V概念(五)数据存储单位之间的换算关系(六)大数据对科学研究的影响(七)大数据对思维方式的影响(八)大数据技术的不同层面及其功能(九)
大数据计算
模式及其代表产品
天玑y
·
2024-01-13 14:35
期末复习
大数据
学习
学习方法
笔记
bigdata
hdfs
hadoop
Flink
面试题
1、
Flink
如何保证精确一次性消费
Flink
保证精确一次性消费主要依赖于两种
Flink
机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当
Flink
开启Checkpoint
思旭�
·
2024-01-13 13:02
flink
Flink
maven日志配置
Flink
maven日志配置maven配置1.7.30org.slf4jslf4j-api${slf4j.version}org.slf4jslf4j-log4j12${slf4j.version}org.apache.logging.log4jlog4j-to-slf4j2.14.0log4j.properties
老鼠扛刀满街找猫@
·
2024-01-13 11:15
flink
maven
大数据
Flink
2.0 状态管理存算分离架构演进
Flink
2.0状态管理存算分离架构演进
flink
现有状态访问线程模型首先简单来说一下,
flink
2.0做存算分离,最最主要的一点是解决,大状态的问题,例如一个超过50T的物流数据,大状态恢复可能就要1
Direction_Wind
·
2024-01-13 11:16
flink
架构
大数据
Flink
Sink Mysql 简单实现
Flink
SinkMysql简单实现环境解析完整代码源码下载环境简单实现从一个数据源获取数据,根据特定标识字段,将数据sink到不同mysql表中。
这都不是事er
·
2024-01-13 10:07
Flink
flink
sql
Flink
实现Mysql的数据同步 Mysql Sink Mysql
Flink
SinkMysql简单实现环境需求解析完整代码源码下载附:
flink
-cdc环境组件版本scala2.12netcat*kafka*mysql*
flink
1.13.3需求监听mysql某个表的动态
这都不是事er
·
2024-01-13 10:07
Flink
flink
mysql
Flink
SQL - OVER windows‘ ordering in stream mode must be defined on a time attribute.
OVERwindows'orderinginstreammodemustbedefinedonatimeattribute.看着网上
flink
sql的帖子较少,刚才这个问题查了好久,现在贴下完整源码。
这都不是事er
·
2024-01-13 10:37
Flink
flink
sql
windows
Flink
: 如何使用 docker-compose 来启动和测试服务?
Apache
Flink
是一款著名的流式计算引擎,但是它的使用docker-compose的教学文档写得不是很清晰,导致我花了几个小时才搞明白如何使用docker-compose来运行例子程序。
surfirst
·
2024-01-13 10:10
流计算
架构
1024程序员节
flink
docker
流处理
【高级应用】
Flink
Cep模式匹配
在流式数据中(事件流),筛选出符合条件的一系列动作(事件)【复杂事件处理】什么是
Flink
-Cep?
Flink
Cep库Api【实时操作】官方文档什么是Pattern?
不进大厂不改名二号
·
2024-01-13 10:21
flink
flink
大数据
java
如何基于
Flink
实现定制化功能的开发
而对于自定义开发功能,
Flink
则提供了这样的SDK接口能力。本文将从定制化功能需求分析和如何基于
Flink
构建定制化功能两个方面讲述。一、定制化功能开发的思考2.1为什么要学会定制化功能的开发?
i7杨
·
2024-01-13 10:21
Flink
flink
大数据
flink
创建表报错
flink
创建表报错前言使用
flink
在读取rabbitmq消息队列创建表:前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习
~四时春~
·
2024-01-13 10:50
flink连接器使用总结
flink
ruby
大数据
Flink
生产环境依赖
Flink
生产环境依赖版本如下:881.14.61.82.12org.apache.
flink
flink
-java${
flink
.version}org.apache.
flink
flink
-streaming-java
公子乂
·
2024-01-13 10:19
flink
大数据
Flink
CDC 实时抽取 Oracle 数据-排错&调优
前言
Flink
CDC于2021年11月15日发布了最新版本2.1,该版本通过引入内置Debezium组件,增加了对Oracle的支持。
Denny辉
·
2024-01-13 09:48
Flink
Oracle
CDC
flink
oracle
大数据
Flink
一、
Flink
发展第一代:Storm低延迟,无法保证准确性以及很难实现高吞吐量。
928-y
·
2024-01-13 09:15
flink
大数据
Flink
算子简单测试样例
Flink
算子简单测试样例1.创建执行环境//创建执行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
公子乂
·
2024-01-13 09:13
flink
大数据
Flink
集成Hive之Hive Catalog
流程流程:
Flink
消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为yyyy-MM-dd形式,否则抛出异常
实时即未来
·
2024-01-13 09:44
flink
hive
大数据
Spark Streaming
人们对于大数据的实时性处理要求也在不断提高,传统的MapReduce等批处理框架在某些特定领域,例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求,因此诞生了一批如S3、Samza、Storm、
Flink
奋斗的蛐蛐
·
2024-01-13 06:13
Flink
GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘,可以处理海量数据;Spark基于内存,性能提高百倍,微批(500ms);
Flink
基于
三半俊秀
·
2024-01-13 01:53
Flink
State 和 Fault Tolerance(一)
Overview有状态函数(Statefulfunction)和算子(Operator)在处理独立的数据或事件时存储数据,使得状态(State)成为任何复杂算子中的关键部分,例如:当应用检索特定的事件模式,State将存储到接收到的事件的序列当按照分钟/小时/天的唯独聚合事件时,状态将保留待处理的聚合状态当在流数据上进行机器学习的模型训练时,状态保存模型当前版本的参数当需要管理历史数据时,状态允许
Alex90
·
2024-01-12 22:29
Flink
会话集群docker-compose一键安装
spm=1001.2014.3001.55012、
flink
-conf.yaml
flink
-conf.yaml放在/home/
flink
/conf/job、/home/
flink
/conf/task下面
core512
·
2024-01-12 17:30
虚拟机&容器
实战
其它
flink
大数据
安装
docker
准备数据集用于
flink
学习
GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;在学习和开发
flink
程序员欣宸
·
2024-01-12 16:35
Flink
SQL CDC 实践以及一致性分析
摘要:本文由民生银行王健、文乔分享,主要介绍民生银行
Flink
SQLCDC实践以及一致性分析。
Apache Flink
·
2024-01-12 15:10
数据库
大数据
分布式
编程语言
java
自定义
Flink
SourceFunction定时读取数据库
文章目录前言一、自定义
Flink
SourceFunction定时读取数据库二、java代码实现总结前言Source是
Flink
获取数据输入的地方,可以用StreamExecutionEnvironment.addSource
shandongwill
·
2024-01-12 15:08
大数据
Flink
数据库
flink
flink
保存点测试
首先需要去
flink
ui上找到自己的jobid,ui端口默认是8081执行命令
flink
cancel--withSavepoint/
flink
CDC/saveeaf2a70b59827948a1cef7ecc9723206
向他一样rap
·
2024-01-12 14:07
flink
大数据
big
data
Github 2024-01-12Java开源项目日报 Top10
根据开发语言中项目的数量,汇总情况如下:开发语言项目数量Java项目10Vue项目3Apache
Flink
:开源流处理框架创建周期:3506天开发语言:Java协议类型:ApacheLicense2.0Star
孙琦Ray
·
2024-01-12 12:49
github
开源
Github趋势分析
开源项目
Python
Golang
深入理解
Flink
(七)
Flink
Slot 管理详解
2.
Flink
的资源管理机制资源调度的大体流程如下:a.TaskExecutor注册Register:当TaskExecutor启动之后,会向Resource
我很ruo
·
2024-01-12 11:23
大数据
flink
java
大数据
分布式
yarn
【大数据面试】
Flink
面试题附答案
目录1、背压问题2、
Flink
是如何支持批流一体的3、
Flink
任务延迟高,想解决这个问题,你会如何入手4、
Flink
的监控页面,有了解吗,主要关注那些指标?5、你们之前
Flink
集群规模有多大?
话数Science
·
2024-01-12 11:51
大数据
面试
Flink
面试
大数据
flink
深入理解
Flink
(六)
Flink
Job 提交和
Flink
Graph 详解
Flink
Program编程套路回顾1、获取执行环境对象StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
我很ruo
·
2024-01-12 10:48
大数据
flink
大数据
hadoop
分布式
java编写
flink
连接kafka常见问题总结
文章目录控制台输出问题没有执行计划问题不能执行sql问题动态表转为动态流问题控制台输出问题问题描述代码运行一会就结束,没有错误提示,也没有运行结果解决方法两种情况第一种日志没配好添加依赖org.apache.logging.log4jlog4j-slf4j-impl${log4j.version}org.apache.logging.log4jlog4j-api${log4j.version}or
一只小呆呆
·
2024-01-12 10:44
Hadoop
flink
java
【hudi】hudi表 常用字段类型SQL api测试
一、
flink
sqlapidroptablemy_db.hudi_type_
flink
;CREATETABLEmy_db.hudi_type_
flink
(boolean_tboolean,tinyint_ttinyint
lisacumt
·
2024-01-12 09:39
sql
数据库
hadoop
Flink
异步IO
本文讲解
Flink
用于访问外部数据存储的异步I/OAPI。对于不熟悉异步或者事件驱动编程的用户,建议先储备一些关于Future和事件驱动编程的知识。
大数据技术派
·
2024-01-12 07:00
#
Flink
flink
oracle
数据库
大数据
大数据 Hive - 实现SQL执行
文章目录MapReduce实现SQL的原理Hive的架构Hive如何实现join操作小结MapReduce的出现大大简化了大数据编程的难度,使得
大数据计算
不再是高不可攀的技术圣殿,普通工程师也能使用MapReduce
善守的大龙猫
·
2024-01-12 07:37
大数据
大数据
hive
sql
Zookeeper+Hadoop+Spark+
Flink
+Kafka+Hbase+Hive
说明Zookeeper+Hadoop+Spark+
Flink
+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223
·
2024-01-12 06:08
hadoop
zookeeper
spark
数据同步工具chunjun(
flink
x)-1.12.7 使用tips
目录本文旨在记录chunjun使用过程中的tips,并且记录与官网描述不符的地方,以减少学习成本1、在编写json的时候推荐使用在线json编辑器:2、类似MySQLMySQL这种需要编写带jdbcUrl的任务,注意reader和writer中jdbcUrl类型不一致3、以kafka—>mysql举例解释字段间的映射关系4、kafka—>mysql,当kafka输入脏数据时,mysql会写入空行5
省略号的搬运工
·
2024-01-12 01:36
json
大数据
数据库
kafka
kafka查看Topic列表及消费状态等常用命令
/kafka-topics--zookeeper166.188.xx.xx--create--topic
flink
_source--partitions1--replication-factor1replication-factor
码农九珍
·
2024-01-12 00:45
程序员
Java
spring
java
Kafka - Topic 消费状态常用命令
/kafka-topics--zookeeper166.188.xx.xx--create--topic
flink
_source--partitions1--replication-factor1replication-factor
放羊的牧码
·
2024-01-12 00:13
#
MQ
kafka
分布式
topic
group
消费者
生产者
列表
Flink
中的状态管理
一.
Flink
中的状态1.1概述在
Flink
中,算子任务可以分为有状态和无状态两种状态。无状态的算子任务只需要观察每个独立事件,根据当前输入的数据直接转换输出结果。
- Hola -
·
2024-01-11 23:46
flink
大数据
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他