flinkSQL

hive表小文件合并java程序

1.背景公司的hive表中的数据是通过flinksql程序，从kafka读取，然后写入hive的，为了数据能够被及时可读，我设置了flinksql程序的checkpoint时间为1分钟，因此，在hive
第一片心意·2023-08-10 10:28

flink-sql所有数据类型-1.16

2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。
第一片心意·2023-08-10 05:59

flink-sql所有数据类型-1.15

2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。
第一片心意·2023-08-10 05:58

Flink sql 创建 视图-view

1.场景是通过flinksql对表的操作，通过添加多个算子对结果的操作如图：例子不是很恰当主要是我们在创建数仓表时，通过先将一个函数的结果集放到一个视图中，在通过一个一个函数将结果放入到下一个视图中，然后在通过视图
wudl·2023-08-10 00:41

FLINK JDBC SQL Connector遇到的类型转换问题

背景Flink1.3最近在写FlinkSql的时候，遇到了java.lang.ClassCastException:java.lang.Integercannotbecasttojava.lang.Long
鸿乃江边鸟·2023-08-06 19:51

Flink SQL on Zeppelin - 打造自己的可视化Flink SQL开发平台

那么本文就介绍基于Zepplin开发自己的FlinkSQL平台。本文是蘑菇街实时计算负责人狄杰发表在网络上的作品，小编进行了整理。小编之前也写过Flink对接Zeppelin的方案和引用。
王知无(import_bigdata)·2023-08-05 22:56

深入理解flinksql执行流程,calcite与catalog相关概念,扩展解析器实现语法的扩展

深入理解FlinkSql执行流程1FlinkSQL解析引擎1.1SQL解析器1.2Calcite处理流程1.2.1SQL解析阶段（SQL–>SqlNode）1.2.2SqlNode验证（SqlNode–
Direction_Wind·2023-08-05 22:55

flink Sql自定义kafka连接器

文章目录flinksql自定义kafka连接器1.Overview2.自定义kafka连接器2.2maven相关依赖2.3自定义Factory2.4测试flinksql自定义kafka连接器在流式计算平台当中
老鼠扛刀满街找猫@·2023-08-05 14:24

一文解开主流开源变更数据捕获技术之Flink CDC的入门使用

CDC的分类特性应用场景支持数据源实战FlinkDataStream方式代码示例FlinkSQL方式代码示例概述定义flink-cdc-connectors官网https://github.com/ververica
IT小神·2023-08-04 04:26

flinksql 中使用 处理时间时， 时区差八个小时的问题 （在 flink 1.13 以后不会在出现时区问题了）

目录原因：解决：代码实操：原因：使用事件时间进行开窗时，需要事件进行触发，比如开一个小时的窗口，在2:15分有数据过来，下一条数据在3:15分到达，那么窗口将会在3:15触发计算，输出2：00-3:00这个时间段内的统计数据，create_time也是3:15。很明显这种情况与想要的触发时间不同。解决：使用处理时间代替事件时间，不管是否有数据，到达窗口触发时间后都会触发计算的。问题：直接使用处理时
fyl005·2023-08-03 20:55

FLinkCDC读取MySQl时间戳时区相关问题解决汇总

details/127809317FLinkCDC读取MySQl中的日期问题https://blog.csdn.net/YPeiQi/article/details/130265653关于flink1.11flinksql
csdn-延·2023-08-03 20:16

FLINK SQL 时间戳转换

1.TO_TIMESTAMP时间戳类型转换问题上图是来自阿里巴巴FlinkSQL开发手册,案例中TO_TIMESTAMP可以将13位bigint类型的UNIX时间戳转换成TIMESTAMP的日期类型2017
qq_43193797·2023-08-03 10:19

Flink系列之：动态发现新增分区

Flink系列之：动态发现新增分区一、动态发现新增分区二、FlinkSQL动态发现新增分区三、FlinkAPI动态发现新增分区为了在不重新启动Flink作业的情况下处理主题扩展或主题创建等场景，可以将Kafka
最笨的羊羊·2023-08-02 08:19

rocketmq rsqldb 简单记录

GitHub地址https://github.com/alibaba/rsqldb/tree/main，是和目前streamsql化看齐的Rocketmq的sql，类似还有kafka的sqlDB和flinksql
weixin_40455124·2023-07-30 15:32

Flink 源码之 Table early fire 和 late fire

背景FlinkSQL的window计算除了window结束后触发计算之外，还支持中途输出window中间累加结果以及对迟到的数据修正window累加结果（以回撤形式输出：先输出UPDATE_BEFORE
AlienPaul·2023-07-29 19:18

flink使用13-开始体验 Flink SQL

SQLAPI是Flink中最顶级的API,它构建了TableAPI之上,也可以方便的和Table做转换,构建SQL所使用的Environment也是TableEnvironment.FlinkSQL底层使用
CheckChe·2023-07-29 11:32

Dinky简介与部署(Docker形式)

Dinky简介与部署(Docker)Dinky简介实时即未来，Dinky为ApacheFlink而生，让FlinkSQL纵享丝滑。
HuaWei&&WeiHua·2023-07-29 03:02

大数据开发：Flink SQL快速入门

Flink在大数据处理上，是流批一体的框架，针对于各种场景下的数据处理，也有一套FlinkSQL的操作思路。今天的大数据开发分享，我们就来讲讲基本的FlinkSQL快速入门。
成都加米谷大数据·2023-07-27 19:23

1.19.10.Flink SQL工程案例\Flink批式处理\自定义函数\Window窗口计算\将DataSet数据转成Table数据\将Table数据转成DataSet等

1.19.10.FlinkSQL工程案例1.19.10.1.编写Pom.xml文件1.19.10.2.java案例1.19.10.3.案例1：Flink批式处理(建表、查询、插入、jdbcconnector
涂作权的博客·2023-07-26 03:58

flink/hive sql 实现递归 查询人员组织架构

递归人员归属查询解决的问题：flinksql无法使用递归查询的问题场景syc_loan_dpt(did,dname,dlevel,pdid)、syc_agent_usr(uid、uname、did)组织架构
xfchn多多学习学习·2023-07-25 03:23

flink笔记

flink的两种流无界流（其实就是离线数据源）有界流（其实就是实时数据源）两种流分别通过DataStreamAPI和DataSetAPI进行操作，FlinkSQL在API层面上真正统一了实时离线场景，是实现流批一体的关键所在
昵ꦿ᭄称ꦿ᭄·2023-07-24 18:23

Flink CDC 系列（7）—— 从 MySQL 到 ElasticSearch

系列文章：《FlinkCDC系列（1）——什么是FlinkCDC》《FlinkCDC系列（2）——FlinkCDC源码编译》《FlinkCDC系列（3）——FlinkCDCMySQLConnector与FlinkSQL
修破立生·2023-07-23 01:51

FlinkSQL 窗口聚合

1、窗口（Window）1.1GroupWindow（老版本）在Flink1.12之前的版本中，TableAPI和SQL提供了一组“分组窗口”（GroupWindow）函数，常用的时间窗口如滚动窗口、滑动窗口、会话窗口都有对应的实现；TUMBLE(time_attr,interval)HOP(time_attr,interval,interval)SESSION(time_attr,interva
hyunbar·2023-07-20 06:52

Flink复习笔记

出现的数据倾斜使用聚合函数处理热点数据`Flink``vs``Spark`泛型擦除集群角色部署模式`Yarn`运行模式`FlinkonK8s`执行图有哪几种分区任务槽`Taskslot`并行度窗口理解`FlinkSQL
Oasen·2023-07-17 06:11

FlinkSql概述

Flink学习笔记-6一、FlinkSQL概述1.流处理中的表2.将流转换成动态表3.将动态表转换为流二、时间属性1.事件时间2.处理时间一、FlinkSQL概述TableAPI和SQL是最上层的API
Aimyon_36·2023-07-16 11:52

Iceberg从入门到精通系列之十六：Flink Iceberg Connector

FlinkIcebergConnector二、在Hive目录中管理的表三、在自定义目录中管理表四、一个完整的例子一、FlinkIcebergConnectorApacheFlink支持直接创建Iceberg表，无需在FlinkSQL
最笨的羊羊·2023-07-16 06:17

FlinkSql+Stream综合使用+广播流

Flink状态管理状态的分类Flink容错机制StateVsCheckPointCheckPoint原理State状态后端/State存储介质状态恢复和重启策略SavePointFlinkTableAPI&SQL案例广播流状态管理状态的分类StateManagerState–开发中推荐使用：Flink自动管理/优化，支持多种数据结构KeyState–只能在keyedStream上使用，支持多种数据
归去来兮★·2023-07-15 02:55

FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkSql kafka connector的特征与应用

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案FlinkCDC-Hudi:Mysql数据实时入湖全攻略三：探索实现FlinkCDCmysql主从库同步高可用一、背景在生产实践中，通过FlinkCDC读取数据，除了落地hadoop入湖
大数据点灯人·2023-07-15 01:12

Flink SQL中的函数

TableAPI是内嵌在Java语言中的，很多方法需要在类中额外添加，扩展功能比较麻烦，目前支持的函数比较少，故一般情况下我们使用FlinkSQL中的函数FlinkSQL中的函数主要分为两类：SQL内置函数
未来影子·2023-07-14 13:44

20211008 FlinkSql测试-1.12版本

一、flinkSql-Client/mnt/flink-1.12.4/bin/start-cluster.sh--启动集群/mnt/flink-1.12.4/bin/sql-client.shembedded
xiaoyangyangYY·2023-07-14 13:13

开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。ChunJun具有丰富的插件种类，多达40种，如常见的mysql、binlog、logminer等，大部分插件
袋鼠云数栈·2023-07-14 07:38

基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka

本文以此为FlinkSQL可视化工具。FlinkSQL使得使用标准SQL开发流式应用变得简单，免去代码开发。FlinkCDC本文使用MySQLCDC连接器允许从MySQL数据库读取快照数据和增量数据。
拉裤兜兜子·2023-07-14 07:07

Flink API分层

Flink的API基本可分为三层：FlinkSQL/TableFlinkDataStream/DataSetFlink有状态底层处理API越是高级API，代码越是简洁，但灵活性会相对的减少，反之同理。
蜗牛@漫步·2023-07-14 00:16

Flink SQL 在快手的扩展和实践

主要内容包括：FlinkSQL在快手功能扩展性能优化稳定性提升未来展望FFA2021直播回放&演讲PDF下载一、FlinkSQL在快手经过一年多的推广，快手内部用户对FlinkSQL的认可度逐渐提高，今年新增的
·2023-07-13 15:30

HiveSQL 迁移 FlinkSQL 在快手的实践

摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在FlinkForwardAsia2022生产实践专场的分享。本篇内容主要分为四个部分：Flink流批一体引擎FlinkBatch生产实践核心优化解读未来规划点击查看原文视频&演讲PPT一、Flink流批一体引擎1.1Lambda架构首先，介绍一下我们选择Flink作为流批一体引擎的思考。如上图所示，是现在生产应用最广的Lambda架构，
·2023-07-13 15:14

flink-sql所有数据类型-1.13

2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。
第一片心意·2023-06-24 01:57

flinksql下的时间日期格式转换

flinksql里面最常用的事情就是时间格式转换，比如各种时间格式转换成TIMESTAMP(3).now()bigint--CAST(TO_TIMESTAMP(log_time)asTIMESTAMP(
sofo2017·2023-06-23 14:34

大数据就业路线

数仓：主要以SQL语言为主离线数仓（目前基本状态）和实时数仓（趋势）SQL语法包括mysql中的sql、hive中的hivesql（重点），spark中的sparksql，flink中的flinksql
烟雨孤舟·2023-06-23 06:25

Flink 学习十 FlinkSQL

Flink学习十FlinkSQL1.FlinkSQL基础概念flinksql基于flinkcore,使用sql语义方便快捷的进行结构化数据处理的上层库;类似理解sparksql和sparkcore,hive
C0oOder·2023-06-21 00:51

Flink实战：FlinkSQL接收开启Kerberos认证的Kafka集群数据存入MySQL

请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读上篇文章展示了Flink连接Kafka集群的代码，平时我们做统计分析，经常会用到FlinkSQL
大数据开发运维架构·2023-06-19 01:32

【Flink实战系列】Flink SQL 实现interval Join

上一篇是用API实现的intervaljoin,这一篇主要是用Flinksql实现一个intervaljoin,实现的逻辑和上一篇一样,包括最后的返回值都是一样的,直接看下面的代码:packageflink.joinimportjava.util.TimeZoneimportcom.alibaba.fastjson.JSONimportflink.util.CommonUtilsimportorg
JasonLee实时计算·2023-06-18 16:44

FlinkSql多表(三表) join/interval join

直接上sql和数据流图三张表flink_kafka_join_click,flink_kafka_join_pay,flink_kafka_join_price三张表都类似，看官们主要关注下后面的join部分即可createtableflink_kafka_join_click(useridSTRING,clickSTRING,ctimeTIMESTAMP(3),procTimeasPROCTIM
me凡·2023-06-18 16:14

Flink SQL:Queries(Joins)

JoinsBatchStreamingFlinkSQLsupportscomplexandflexiblejoinoperationsoverdynamictables.Thereareseveraldifferenttypesofjoinstoaccountforthewidevarietyofsemanticsqueriesmayrequire.FlinkSQL
曹木青芸·2023-06-18 16:14

FlinkSql系列6之 Interval Join

FlinkSql系列6之IntervalJoin前言本次我们来学习flinksql的IntervalJoin,这个方式主要是针对两个流在一定时间区间内的join,支持事件时间和处理时间，而且这个流每次只会产生一条数据
瘦瘦的肥羊·2023-06-18 16:43

FlinkSQL行级权限解决方案及源码

FlinkSQL的行级权限解决方案及源码，支持面向用户级别的行级数据访问控制，即特定用户只能访问授权过的行，隐藏未授权的行数据。
数据探险家·2023-06-18 08:26

flink sql - 问题系列与解决系列

flinksql调试-注意点1、布尔类型的坑2、cdc表[kafka/pg等]，要写对表主键，特别是flinksql有groupby的情况3、Exceptioninthread"main"java.lang.NoClassDefFoundError
cg6·2023-06-17 01:32

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度
wudl5566·2023-06-16 15:35

FlinkSQL写入iceberg—Windows环境下

前置条件Flink运行版本13.1，iceberg依赖版本：1.0.0依赖FlinkSQL运行环境略。注意版本匹配，采用不合适版本可能导致无法读写。
长臂人猿·2023-06-16 00:42

Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL

上周六在深圳分享了《FlinkSQL1.9.0技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的Demo代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。
·2023-06-15 16:57

Flink-CDC 2.0学习

Flink-CDC开源地址二、Flink-CDC案例实操1.依赖导入2.DataStream方式编写代码3.StartupOptions参数3.1initial3.2earliest3.3latest4.FlinkSQL
自学大数据的菜鸡·2023-06-14 14:17
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他