flinkSql

FlinkAPI开发之FlinkSQL

一.代码中使用FlinkSQL需要引入的依赖org.apache.flinkflink-table-api-java-bridge${flink.version}这里的依赖是一个Java的“桥接器”（bridge
Appreciate(欣赏)·2024-01-25 11:27

Hudi学习笔记2 - Hudi配置之FlinkSQL配置

FlinkSqlConfigs配置项是否必须默认值配置说明pathYN/AHudi表的basepath，如果不存在会创建，否则应是一个已初始化成功的hudi表read.end-commitYN/Aread.start-commitYN/Aread.tasksYN/Awrite.tasksYN/Awrite.partition.formatYN/A分区路径格式，仅write.datetime.par
一见·2024-01-25 09:39

Flink（十四）【Flink SQL（中）查询】

FlinkSQL查询环境准备：#1.先启动hadoopmyhadoopstart#2.不需要启动flink只启动yarn-session即可/opt/module/flink-1.17.0/bin/yarn-session.sh-d
让线程再跑一会·2024-01-22 08:14

flink不同方式加载MySQL维表demo

在flinksql中加载维表比较简单定时加载：CREATETABLEzktest(idintNOTNULL,namestring,PRIMARYKEY(id)NOTENFORCED--指定主键)WITH
Zhikuan53·2024-01-20 11:28

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL
九师兄·2024-01-20 11:27

Flink 维表

FlinkSQL功能解密系列——维表JOIN与异步优化阿里云-flink实时-数据维表
张之海·2024-01-20 11:52

Apache Flink 1.15正式发布

目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而FlinkSQL则是这种低代码方式数据分析的典型代表。越来越多的用户开始采用Fl
魏铁锤爱摸鱼·2024-01-20 02:00

【大数据】Flink 测试利器：DataGen

Flink测试利器：DataGen1.什么是FlinkSQL？2.什么是Connector？
G皮T·2024-01-19 08:45

【Flink】FlinkSQL读取Mysql表中时间字段相差13个小时

问题：Flink版本1.13，在我们使用FlinkSQL读取Mysql中数据的时候，发现读取出来的时间字段中的数据和Mysql表中的数据相差13个小时，Mysql建表语句及插入的数据如下；CREATETABLE
一杯咖啡半杯糖·2024-01-19 06:17

FlinkSql bug :OVER windows‘ ordering in stream mode must be defined on a time attribute.

flinksql报错org.apache.flink.table.api.TableException:OVERwindows’orderinginstreammodemustbedefinedonatimeattribute.org.apache.flink.table.api.TableException
Direction_Wind·2024-01-18 21:58

flinksql bug:In ‘hash‘ distribution mode with equality fields set, partition field ‘1000: ymd_bucket

partitionfield‘1000:ymd_bucket:bucket32’shouldbeincludedinequalityfields:‘[distinct_id,tip_page_id,rwk]’场景flinksql
Direction_Wind·2024-01-18 21:58

Dinky为大数据框架Flink提供交互式平台，让你学习 FlinkSQL 更加轻松，并且掌握Flink技能！

通过Dinky，用户可以更加便捷地进行FlinkSQL的开发和管理。此外，为了满足不同需求，D
知识分享小能手·2024-01-18 17:59

反射执行FlinkSql代码时找不到UDF的class报ClassNotFound

通过组件的方式配置flinkSql的流程，其中有测试环节，就是将生成的源代码通过反射执行一遍。其余组件都正常，就是使用UDF的时候报错ClassNotFound。
原来你是小幸运·2024-01-18 07:33

Flink Sql on Zeppelin（2）——维表Join

维表join代码编写之前在讲FlinkSql的时候和大家聊过维表以及如何用FlinkSql来完成维表Join现在带大家看看如何用Zeppelin来实现这个功能首先，我们先引入我们所需的依赖包，目前大家先跟着我这么写
狄杰丶·2024-01-17 15:33

FlinkSQL【分组聚合-多维分析-性能调优】应用实例分析

FlinkSQL处理如下实时数据需求：实时聚合不同类型/账号/发布时间的各个指标数据，比如：初始化/初始化后删除/初始化后取消/推送/成功/失败的指标数据。
PONY LEE·2024-01-17 14:44

sqlserver-＞clickhouse迁移数据

flinksql中的方案，好不容易弄到了所有的驱动，结果，字段非常难搞，例如uuid对应flink的String，结果执行flinksql的时候，字段类型不对。
kaka9·2024-01-17 14:20

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

StreamX支持Flink多版本，与FlinkSQLWebIDE兼容，并可以进行FlinkSQL校验。
知识分享小能手·2024-01-17 12:15

【总结】Dinky学习笔记

致力于流批一体和湖仓一体的探索与实践官网：Dinky核心特性沉浸式：提供专业的DataStudio功能，支持全屏开发、自动提示与补全、语法高亮、语句美化、语法校验、调试预览结果、全局变量、MetaStore、字段级血缘分析、元数据查询、FlinkSQL
THE WHY·2024-01-17 04:11

【FlinkSQL】一文读懂 动态表-时态表

一、FLinkSql简介FlinkSQL是基于ApacheCalcite来实现的标准SQL。它是一种关系型API，可以来做流批统一处理。
架构师思考实践·2024-01-16 09:26

Flink（十三）【Flink SQL（上）】

今天开始学习Flink最后一部分FlinkSQL，完了还有不少框架得学：Kafka、Flume、ClickHouse、Hudi、Azkaban、OOzie...有的算是小工具，不费劲，但是学完得复习啊，
让线程再跑一会·2024-01-16 08:33

【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的

文章目录一.一条flinksql二.源码流程图示1.flinkconnector的实现逻辑2.flinksql的转换逻辑三、flinksql调用connector源码分析1.tEnv.executeSql
roman_日积跬步-终至千里·2024-01-15 14:25

使用Java将图片转成Base64编码，并压缩至40k

文章目录1.添加依赖包2.代码3.测试1.添加依赖包net.coobirdthumbnailator0.4.82.代码packagecom.xxx.flinksql.udf.utils;importnet.coobird.thumbnailator.Thumbnails
黄土高坡上的独孤前辈·2024-01-15 04:22

PiflowX如何快速开发flink程序

PiflowX如何快速开发flink程序参考资料Flink最锋利的武器：FlinkSQL入门和实战|附完整实现代码-腾讯云开发者社区-腾讯云(tencent.com)FlinkSQL背景FlinkSQL
暗影八度·2024-01-14 14:58

Flink SQL - OVER windows‘ ordering in stream mode must be defined on a time attribute.

OVERwindows'orderinginstreammodemustbedefinedonatimeattribute.看着网上flinksql的帖子较少，刚才这个问题查了好久，现在贴下完整源码。
这都不是事er·2024-01-13 10:37

FlinkSQL设置sink的并行度

createtableaaa(pt_dtstring,proc_timetimestamp,ctimetimestamp,PRIMARYKEY(tqi_id)NOTENFORCED)with('connector'='upsert-kafka','topic'='bbb','properties.bootstrap.servers'='${sql.kafka.bootstrap.server}',
青云游子·2024-01-10 15:51

大数据OLAP引擎发展原因及特性分析

在大数据高速发展时期，多个技术团队基于OLAP的应用需求，开发出多种OLAP技术，如Hive、SparkSql、FlinkSql、Impala、Kylin、ClickHouse、Doris等，或者在实现其他应用需求的时候
i7杨·2024-01-10 01:31

flink sql 知其所以然（十一）：去重不仅仅有 count distinct 还有强大的 deduplication

1.序篇下面即是文章目录，也对应到了本文的结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你了解到，flinksql的deduplication其实就是
程序员的隐秘角落·2024-01-09 12:36

Flink SQL1.12 读取Mysql，写到Kafka、Hbase

FlinkSQL1.12读取Mysql，写到Kafka、Hbase概览心路历程案例流程pom文件如下测试代码docker安装kafka、hbase、mysql等hosts概览使用flinksql1.12
王糍粑的小夕·2024-01-09 07:10

FlinkSQL中【FULL OUTER JOIN】使用实例分析（坑）

其中包括FlinkSQL知识点：FlinkSQL【FULLOUTERJOIN】FlinkSQL【TemporalJoins-LookupJoin】Fli
PONY LEE·2024-01-07 20:46

Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法
张飞的猪大数据·2024-01-07 12:13

flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flinksql-groupby字段[不等于]主键字段导致写入pg表死锁原因分析1、环境描述1、flink1.13.22、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑
cg6·2024-01-06 12:43

记 - flink sql upset-kafka sink 数据乱序排查与解决思路【业务数据任意修改】

flinksqlupset-kafkasink数据乱序排查与解决思路数据乱序现状[leftjoin]数据乱序原因分析与解决乱序sql如下sql执行计划图业务操作kafka乱序数据原因分析解决验证补充多表rightjoin分析多表join分析打印flinksql
cg6·2024-01-06 12:43

使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

目录1.环境介绍2.mysql建表3.flinksql建表3.1进入flinksql客户端3.2配置输出格式3.3flink建表3.4任务流配置4.测试4.1插入测试数据4.2查看结果表数据4.3新增测试数据
易逝的年华·2024-01-06 12:12

FlinkSQL处理Canal-JSON数据

背景信息Canal是一个CDC（ChangeLogDataCapture，变更日志数据捕获）工具，可以实时地将MySQL变更传输到其他系统。Canal为变更日志提供了统一的数据格式，并支持使用JSON或protobuf序列化消息（Canal默认使用protobuf）。支持Canal格式的连接器有消息队列Kafka和对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UPDA
实时即未来·2024-01-04 11:34

docker搭建Dinky —— 筑梦之路

主要功能其主要功能如下：沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等支持FlinkSQL多版本开发及多种执行模式
筑梦之路·2024-01-04 03:40

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块
小螺旋丸·2024-01-03 10:43

FlinkSQL窗口实例分析

WindowingTVFsWindowingtable-valuedfunctions(WindowingTVFs)，即窗口表值函数注意：窗口函数不可以单独使用，需要聚合函数，按照window_start、window_end分区，即存在：groupbywindow_start,window_endTUMBLE函数采用三个必需参数，一个可选参数：TUMBLE(TABLEdata,DESCRIPTO
PONY LEE·2023-12-29 06:42

【大数据】Hudi HMS Catalog 完全使用指南

HudiHMSCatalog完全使用指南1.HudiHMSCatalog基本介绍2.在Flink中写入数据3.在FlinkSQL中查看数据4.在Spark中查看数据5.在Hive中查看数据1.HudiHMSCatalog
G皮T·2023-12-28 18:24

Next Station of Flink CDC

摘要：本文整理自阿里云智能FlinkSQL、FlinkCDC负责人伍翀（花名：云邪），在FlinkForwardAsia2023主会场的分享。
Apache Flink·2023-12-28 17:30

Flink1.17实战教程（第五篇：状态管理）

实战教程（第三篇：时间和窗口）Flink1.17实战教程（第四篇：处理函数）Flink1.17实战教程（第五篇：状态管理）Flink1.17实战教程（第六篇：容错机制）Flink1.17实战教程（第七篇：FlinkSQL
阿moments·2023-12-28 17:27

Flink1.17实战教程（第六篇：容错机制）

实战教程（第三篇：时间和窗口）Flink1.17实战教程（第四篇：处理函数）Flink1.17实战教程（第五篇：状态管理）Flink1.17实战教程（第六篇：容错机制）Flink1.17实战教程（第七篇：FlinkSQL
阿moments·2023-12-28 17:27

Flink1.17实战教程（第三篇：时间和窗口）

实战教程（第三篇：时间和窗口）Flink1.17实战教程（第四篇：处理函数）Flink1.17实战教程（第五篇：状态管理）Flink1.17实战教程（第六篇：容错机制）Flink1.17实战教程（第七篇：FlinkSQL
阿moments·2023-12-28 17:57

Flink1.17实战教程（第四篇：处理函数）

实战教程（第三篇：时间和窗口）Flink1.17实战教程（第四篇：处理函数）Flink1.17实战教程（第五篇：状态管理）Flink1.17实战教程（第六篇：容错机制）Flink1.17实战教程（第七篇：FlinkSQL
阿moments·2023-12-28 17:57

集度汽车 Flink on native k8s 的应用与实践

本篇内容主要分为四个部分：1.集度实时计算发展2.FlinkSQL实时入仓实践3.Flink计算平台建设4.未来规划Tips：点击「阅读原文」查看原文视频&演讲ppt01集度实时计算发展2021年3月集度汽车成立
Apache Flink·2023-12-28 15:05

Flink1.17实战教程（第七篇：Flink SQL）

实战教程（第三篇：时间和窗口）Flink1.17实战教程（第四篇：处理函数）Flink1.17实战教程（第五篇：状态管理）Flink1.17实战教程（第六篇：容错机制）Flink1.17实战教程（第七篇：FlinkSQL
阿moments·2023-12-28 15:01

FlinkCDC从Mongodb同步数据至elasticsearch（ES) 新版

从Mongodb同步数据至elasticsearch（ES）一、DataStreamingAPI方式pom.xml二、主程序-配置三、主程序四、其他问题一、DataStreamingAPI方式网上挺多flinksql
tuoluzhe8521·2023-12-27 10:14

五分钟，Docker安装flink，并使用flinksql消费kafka数据

1、拉取flink镜像，创建网络dockerpullflinkdockernetworkcreateflink-network2、创建jobmanager#创建JobManagerdockerrun\-itd\--name=jobmanager\--publish8081:8081\--networkflink-network\--envFLINK_PROPERTIES="jobmanager.r
刘金宝_Arvin·2023-12-27 10:52

Flink SQL Create 语法

目前FlinkSQL支持下列CREATE语句：CREATETABLECREATEDATABASECREATEVIEWCREAT
Alex90·2023-12-26 13:32

Flink实时电商数仓（五）

FlinkSQL的joinRegularjoin普通join，两条流的数据都时存放在内存的状态中，如果两条流数据都很大，对内存压力很大。
十七✧ᐦ̤·2023-12-25 02:27

Flink电商实时数仓（四）

日志数据结构业务数据：数据都是MySQL中的表格数据,使用FlinkSQL处理日志数据：分为page页面日志（页面信息，曝光信息，动作信息，报错信息）和启动日志（启动信息，报错信息），使用FlinkStreamAPI
十七✧ᐦ̤·2023-12-25 02:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他