E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink个人学习笔记
Dinky集成
Flink
碰到的问题
1.yarn-application模式无法创建my_catalog(mysqlcatalog)不久前,在集群上安装了dinky以解决
flink
cdc同步占用大量数据库连接以及集群资源的问题,dinky
拉格朗日徒弟柯西
·
2024-01-18 07:58
flink
大数据
Dinky创建
Flink
实例报错
Dinky版本:0.7.3
Flink
版本:1.13.0问题描述问题1:已有实例不显示在Dinky的【注册中心】—【
Flink
实例管理】中:hadoop集群以及zookeeper重启后,之前创建的一个yarn-session
THE WHY
·
2024-01-18 07:48
大数据相关问题汇总
Dinky
Flink
flink
大数据
数据库
基于华为MRS实时消费Kafka通过
Flink
落盘至HDFS的Hive外部表的调度方案
文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2
Flink
1.1Kerberos安全模式的认证与环境准备1.2
Flink
任务的开发3HDFS
大数据程序终结者
·
2024-01-18 06:25
Hadoop生态
Flink
华为
kafka
flink
fusioninsight
hdfs
hive
SeaTunnel 、DataX 、Sqoop、Flume、
Flink
CDC 对比
对比对比项ApacheSeaTunnelDataXApacheSqoopApacheFlume
Flink
CDC部署难度容易容易中等,依赖于Hadoop生态系统容易中等,依赖于Hadoop生态系统运行模式分布式
贾斯汀玛尔斯
·
2024-01-18 06:01
数据湖
大数据生态
sqoop
flume
flink
小红书推荐大数据在阿里云上的实践
第二部分讲一下小红书是怎么使用
Flink
的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MC-Hologres的合作。
aliyunhologres
·
2024-01-18 05:55
经典用户案例
flink
kafka
hdfs
大数据
数据库
最新版
Flink
CDC MySQL同步MySQL(一)
1.概述
Flink
CDC是Apache
Flink
®的一组源连接器,使用变更数据捕获(CDC)从不同数据库中获取变更。
Hello.Reader
·
2024-01-17 18:39
flink
flink
mysql
大数据
Flink
CDC 系列 - 同步 MySQL 分库分表,构建 Iceberg 实时数据湖
▼关注「Apache
Flink
」,获取更多技术干货▼摘要:本篇教程将展示如何使用
Flink
CDC构建实时数据湖,并处理分库分表合并同步的场景。
Apache Flink
·
2024-01-17 18:39
数据库
mysql
java
大数据
python
【
FLINK
】Kafka数据源通过
Flink
-cdc进行实时数据同步
何为
FLINK
-CDC?
木棉庭
·
2024-01-17 18:09
技术分享
KAFKA
FLINK
kafka
flink
数据库
Java 实现mysql 同步
flink
cdc 做数据收集 demo
**准备环境**java8mysql
flink
1.3.5
flink
cdc2.2.1数据库创建2张测试表格student、和student1CREATETABLE`student`(`id`int(11)
你是小可爱吗
·
2024-01-17 18:08
大数据
java
mysql
flink
Flink
的ListState在小规模场景下的缓存提速和接口优化丰富的实践
实时计算功能,底层是基于
Flink
,我们在此基础上开发辅助插件和可视化开发运维套件,我们将其称之为Sail
Flink
。
OkGogooXSailboat
·
2024-01-17 18:36
大数据平台开发技术
flink
缓存
spring
Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值
1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能,实现了
Flink
计算任务的可视化开发(想要了解更多,可以查看《
Flink
的DAG
OkGogooXSailboat
·
2024-01-17 18:36
大数据平台开发技术
json
java
关于
Flink
在一条计算管道中配置流和数据流通过广播方式合流的情形下,无保存点和检查点重跑时,让配置流先行,数据流等延迟几秒再进入合流节点的思考
1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时,遇到这样一种情形:计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置流和数据流的输入源都是Kafka主题,但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置,数据流中存储的是要分析的数据。在开发调试的时候,这两个主题中已有数据,一调试运行,数据流先到达被处理,配置流晚到,造
OkGogooXSailboat
·
2024-01-17 18:36
flink
linq
大数据
增加Java对象序列化和反序列化灵活性、适应性的方法
1.背景笔者在进行Sail
Flink
框架开发的时候,涉及大量需要序列化和反序列的类,尤其是各种算子的Function方法。
OkGogooXSailboat
·
2024-01-17 18:06
java
开发语言
本地运行
Flink
退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法
1.背景在开发大数据平台XSailboat中的查看
Flink
任务的状态数据工具时,用StateProcessAPI解析保存点数据,将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存,然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat
·
2024-01-17 18:05
大数据平台开发问题解决笔记
flink
java
nio
Flink
的Reduce算子,Name-Position形式的Row数据在使用保存点/检查点重新启动的时候,变成了Position-Based形式的Row解决
1.背景大数据平台XSailboat提供了基于Apache
Flink
的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat
·
2024-01-17 18:05
flink
python
大数据
基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--
flink
CDC
1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块,现已实现并应用于项目中。在项目中遇到这样一种情形:在业务系统中,对某类对象打了标签,现在需要对这类对象进行过滤并分页查询,支持使用这类对象的属性和所打标签进行过滤。这就出现了一个问题:标签和打标信息是存储在大数据平台的数据库中的,而业务数据是存储在业务系统数据库中的,这是两个数据库
OkGogooXSailboat
·
2024-01-17 18:05
大数据平台开发技术
大数据
mysql
flink
flink
1.15消费kafka之checkpoint 二
前言上一篇讲解了checkpoint恢复的流程,以及checkpoint恢复时如何从状态中获取topic、partition,开始offset值,本篇主要如何取到offset值进行消费的。流程Task运行时,首先调用doRun方法:publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329
·
2024-01-17 16:29
flink
kafka
kafka
java
分布式
2024.1.16 用户画像day01 - 项目介绍
elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-
Flink
白白的wj
·
2024-01-17 15:40
spark
大数据
分布式
python
kafka
zookeeper
hive
Flink
Sql on Zeppelin(2)——维表Join
维表join代码编写之前在讲
Flink
Sql的时候和大家聊过维表以及如何用
Flink
Sql来完成维表Join现在带大家看看如何用Zeppelin来实现这个功能首先,我们先引入我们所需的依赖包,目前大家先跟着我这么写
狄杰丶
·
2024-01-17 15:33
Flink
Sql
on
Zeppelin
flink
大数据
zeppelin集成
Flink
SQL【分组聚合-多维分析-性能调优】应用实例分析
Flink
SQL处理如下实时数据需求:实时聚合不同类型/账号/发布时间的各个指标数据,比如:初始化/初始化后删除/初始化后取消/推送/成功/失败的指标数据。
PONY LEE
·
2024-01-17 14:44
flink
大数据
flink
sqlserver->clickhouse迁移数据
网上看了很多cdc的方案,说实在的,
flink
也不好弄,主要是驱动。
kaka9
·
2024-01-17 14:20
sqlserver
clickhouse
数据库
【
Flink
-1.17-教程】-【二】
Flink
集群搭建、
Flink
部署、
Flink
运行模式
【
Flink
-1.17-教程】-【二】
Flink
集群搭建、
Flink
部署、
Flink
运行模式1)集群角色2)
Flink
集群搭建2.1.集群启动2.2.向集群提交作业3)部署模式3.1.会话模式(SessionMode
bmyyyyyy
·
2024-01-17 12:16
Flink
flink
大数据
#flink集群搭建
#flink部署
#flink运行模式
#flink1.17
#flink1.17教程
StreamX流批一体一站式大数据平台:大数据
Flink
可视化工具的革命性突破,让你的数据更高效、更直观!
介绍:StreamX,开源的流批一体一站式大数据平台,致力于让
Flink
开发更简单。它极大地降低了学习成本和开发门槛,使开发者可以专注于最核心的业务。
知识分享小能手
·
2024-01-17 12:15
学习心得体会
大数据
大数据
flink
学习
Flink
旁路输出OutputTag
文章目录前言代码示例1.流复制2.条件分流3.迟到数据分流前言除了由DataStream操作产生的主要流之外,还可以产生任意数量的旁路输出结果流。结果流中的数据类型不必与主要流中的数据类型相匹配,并且不同旁路输出的类型也可以不同。当你需要拆分数据流时,通常必须复制该数据流,然后从每个流中过滤掉不需要的数据。使用旁路输出时,首先需要定义用于标识旁路输出流的OutputTag://需要使用匿名内部类,
shandongwill
·
2024-01-17 12:42
大数据
Flink
flink
算法
大数据
Hbase - 自定义Rowkey规则
在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用
Flink
的DataSet的方式读取
kikiki2
·
2024-01-17 11:48
flink
1.15 维表join guava cache和mysql方面优化
优化前mysql响应慢,导致算子中数据输出追不上输入,导致显示cpubusy:100%优化后效果两个图对应两个时刻:----优化前selectl.id,JSON_EXTRACT(r.msg,'$$.key1')asmsgv(selectid,uidfromtb1lwhereid=?)join(selectuid,msgfromtb2)ronl.uid=r.uid;--优化后分两次查询mysql并且
Thomas2143
·
2024-01-17 08:10
总结
guava
Flink
实战之运行架构
本文章:重点是分析清楚运行架构以及并行度与slot的分配1、JobManager和TaskManager
Flink
中的节点可以分为JobManager和TaskManager。
core512
·
2024-01-17 06:16
Flink
SpringBoot
架构设计
flink
架构
demo
开发环境搭建
Flink
API开发之水位线(Watermark)
案例用到的测试数据请参考文章:
Flink
自定义Source模拟数据流原文链接:https://blog.csdn.net/m0_52606060/article/details/135436048
Flink
Appreciate(欣赏)
·
2024-01-17 06:08
Flink
java
java
flink
大数据
Flink
API开发之处理函数
案例用到的测试数据请参考文章:
Flink
自定义Source模拟数据流原文链接:https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的流处理
Appreciate(欣赏)
·
2024-01-17 06:03
Flink
java
java
flink
大数据
深入理解与应用
Flink
中的水印机制
在Apache
Flink
这一现代大数据处理框架中,对实时流数据的高效、准确处理是一个核心诉求。
临界爵迹
·
2024-01-17 06:03
大数据
flink
flink
大数据
【总结】Dinky学习笔记
概述Dinky是一个开箱即用、易扩展,以Apache
Flink
为基础,连接OLAP和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践官网:Dinky核心特性沉浸式:提供专业的DataStudio
THE WHY
·
2024-01-17 04:11
Flink
大数据
Dinky
学习
笔记
flink
sql
大数据
数据库
Flink
启动Yarn Session报错:Couldn‘t deploy Yarn session cluster
Flink
版本:1.1.3启动YarnSession的语句:bin/yarn-session.sh-nmtest-d报错截图如下:仅通过ERROR信息只能知道是yarnsession集群未能正常启动,因此继续向下查找
THE WHY
·
2024-01-17 04:09
大数据相关问题汇总
flink
大数据
yarn
typescript
个人学习笔记
https://ts.xcatliu.com/basics/primitive-data-types.html深受启发1.剑谱第一页,初始化tsoutDir表示把ts编译成js文件,文件编译后存放的位置2.类型2.1原始数据类型基础数据五种undefined可以赋值给其他类型引用类型数组对象//定义数组一letarr:[]=[]letarr:number[]=[1,2,3]//定义数组二:泛型le
一朵盆栽
·
2024-01-17 02:23
typescript
学习
笔记
Flink
实例:状态管理State 过期时间TTL
1State过期时间TTL使用
flink
进行实时计算中,会遇到一些状态数不断累积,导致状态量越来越大的情形。
大数据供成屎
·
2024-01-17 01:44
flink
大数据
java
【状态管理|概述】
Flink
的状态管理:为什么需要state、怎么保存state、对于state过大怎么处理
文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在hdfs中存储?3.设置checkpoint3.1.大状态下设置checkpoint3.2.EXACTLY_ONCE下设置分析checkpoint三.State设置过期时间1.datastream的TTL2.TableAPI和SQL的
roman_日积跬步-终至千里
·
2024-01-17 01:13
#
flink
实战
flink
java
大数据
Flink
State 状态管理
文章目录前言一、状态分类二、keyed代码示例ListStateMapState总结前言状态在
Flink
中叫做State,用来保存中间计算结果或者缓存数据。
shandongwill
·
2024-01-17 01:43
Flink
大数据
flink
flink
state
【学习随笔】python编程从入门到实践 笔记整理汇总
备注:
个人学习笔记
,仅用于个人学习,侵权勿删目录备注:
个人学习笔记
,仅用于个人学习,侵权勿删1.python安装(略)2.变量和简单数据类型2.2变量2.2.1变量命名规则:2.2.2使用变量名时避免命名错误
Mr.阿Q
·
2024-01-16 21:19
Hudi0.14.0最新编译(修订版)
1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1
flink
1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行
·
2024-01-16 20:40
大数据企业级实战
hudi
Docker安装各种软件
目录一.Nacos二.MySQL5.7三.Tomcat四.Clickhouse五.Redis六.Zookeeper七.Kafka八.
Flink
九.Fastdfs十.RabbitMQ十一.Elasticsearch
黑暗对我避而远之
·
2024-01-16 20:37
服务器
docker
容器
运维
Alink 使用技巧:如何使用批式 CSV 数据读取?
Alink是基于
Flink
的机器学习算法平台,欢迎访问Alink的GitHub获取更多信息。本文主要分享Alink的使用技巧之一,如何使用批式CSV进行数据读取。
流计算Alink
·
2024-01-16 19:39
大数据学习入门到实战教程,精心整理万字长文入门,老奶奶看了都说学会了
换个角度说,大数据是:1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具(hadoop、spark、storm、
flink
、tez
悦悦学Python
·
2024-01-16 18:10
【
Flink
SQL】一文读懂 动态表-时态表
一、
FLink
Sql简介
Flink
SQL是基于ApacheCalcite来实现的标准SQL。它是一种关系型API,可以来做流批统一处理。
架构师思考实践
·
2024-01-16 09:26
Flink
flink
Flink
-SQL——时态表(Temporal Table)
时态表(TemporalTable)文章目录时态表(TemporalTable)数据库时态表的实现逻辑时态表的实现原理时态表的查询实现时态表的意义
Flink
中的时态表设计初衷产品价格的例子——时态表汇率的例子
不二人生
·
2024-01-16 09:51
#
Flink
SQL
flink
sql
【
Flink
-1.17-教程】-【一】
Flink
概述、
Flink
快速入门
【
Flink
-1.17-教程】-【一】
Flink
概述、
Flink
快速入门1)
Flink
是什么1.1.有界流和无界流1.2.
Flink
的发展史2)
Flink
特点3)
Flink
vsSparkStreaming4
bmyyyyyy
·
2024-01-16 08:16
Flink
flink
java
大数据
#flink概述
#flink快速入门
#wordcount
Flink
处理函数(1)—— 基本处理函数
在
Flink
的多层API中,处理函数是最底层的API,是所有转换算子的一个概括性的表达,可以自定义处理逻辑在处理函数中,我们直面的就是数据流中最基本的元素:数据事件(event)、状态(state)以及时间
THE WHY
·
2024-01-16 08:13
Flink
大数据
flink
大数据
笔记
flink
1.18 sql gateway /sql gateway jdbc
一sqlgateway注意之所以直接启动gateway能知道yarnsession主要还是隐藏的配置文件,但是配置文件可以被覆盖,多个session保留最新的applicationid1安装
flink
(
卤蛋x001
·
2024-01-16 08:12
flink
gateway
sql
gateway
flinksqlgateway
flink
1.12 时间语义与WaterMark
一.在新版本中
flink
默认处理的是事件时间而不是以前默认的处理时间在学习的时候安装新版本步骤容易报错大概的意思就是设置mark或者将事件类型换成ProcessingTime@deprecatedIn
Flink
1.12thedefaultstreamtimecharacteristichasbeenchangedto
卤蛋x001
·
2024-01-16 08:41
笔记
大数据
flink
flink
1.12 stream windows-top-n
窗口top-N
flink
1.12packagecom.cn.stream;importorg.apache.
flink
.api.common.eventtime.WatermarkStrategy;importorg.apache.
flink
.api.common.functions.AggregateFunction
卤蛋x001
·
2024-01-16 08:41
flink
flink
windows
大数据
flink
时态表 Join
创建所以可以使时态表功能相近并且时态表可以DDL创建使用时态表函数只能使用TABLEAPI去注册packagecom.cn.sql.joins.temporaljoins;importorg.apache.
flink
.streaming.api.environment.StreamExecutionEnvironme
卤蛋x001
·
2024-01-16 08:41
flink
flink
big
data
大数据
Flink
(十三)【
Flink
SQL(上)】
今天开始学习
Flink
最后一部分
Flink
SQL,完了还有不少框架得学:Kafka、Flume、ClickHouse、Hudi、Azkaban、OOzie...有的算是小工具,不费劲,但是学完得复习啊,
让线程再跑一会
·
2024-01-16 08:33
Flink
flink
大数据
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他