oldSQLBoy了，第一次注意到有exists这个函数之前都是用innotin来处理逻辑，也没有什么问题但是看到exists在各大数据库，包括SparkSQL、FlinkSQL中也都有支持对这个函数产生了兴趣

一、RegularJoin常规JOIN（RegularJOIN）是语法最简单的一类JOIN，和传统数据库的JOIN语法完全一致。对于左表和右表的任何变动，都会触发实时计算和更新，因此它的结果是“逐步逼近”最终的精确值，也就是下游可能看到变来变去的结果。为了支持结果的更新，下游目的表需要定义主键（PRIMARYKEYNOTENFORCED）。不支持时间窗口以及时间属性，任何一侧数据流有更改都是可见的

InnerJoin的用法SELECT*FROMOrdersINNERJOINProductONOrders.productId=Product.id优点：使用简单和离线数仓一样缺点：因为历史数据默认不会被清理，因为资源问题一般只用做有界数据流的Join，或者需要设置状态，设置过期时间。OuterJoinouterjoin包括leftjoin和rightjoin、fulljoin,效果和离线数仓一样

开发的过程也是探索和学习的过程，一个问题可以揪出背后众多知识。回头想想，这些问题早在官网给出了答案。有时候会想，始终是一种由发现问题到寻求解决问题之路的一种驱动，而不是一种系统学习后把控全局地去实现或者开发。所以学习的某一种过程是与bug并行，与解决问题为驱动的一种学习方式。不管哪一种过程，都是你的成长与经验的积累。你觉得呢？可评论或者留言给我~~~问题的发现ConnectorKafka创建的表C

FlinkSQLJoin常规联查间隔联查维表联查FlinkSQL的Join查询分两类:SQL原生的联结查询方式流处理中特有的联结查询常规联查常规联查(RegularJoin)的几种(L:左流,R:右流)

第一章:环境搭建Flink第二章:基本操作.Flink第三章:基本操作(二)Flink第四章:水位线和窗口Flink第五章:处理函数Flink第六章:多流操作Flink第七章:状态编程Flink第八章:FlinkSQL

TableAPI和FlinkSQL是flink对批处理和流处理，提供了统一的上层API。

FlinkSQL的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。

FlinkSQL的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。

在API层使用FlinkSQL作为编写作业的主要语言，在执行层替换成统一的Runtime。完整内容请点击下方链接查看：https://developer.aliyun.com

一、需要引入的依赖flink版本是1.13.3org.apache.flinkflink-table-api-java-bridge_${scala.binary.version}${flink.version}如果希望在本地的集成开发环境（IDE）里运行TableAPI和SQL，还需要引入以下依赖：org.apache.flinkflink-table-planner-blink_${scala

本文通过一个具体案例，说明flinksql如何实现connector加载、source/sink端操作、数据库连接等。

背景最近在使用flinksql（jdbc）做离线数据同步（历史数据修复），遇到一个问题，只同步几条数据的情况下，测试环境执行竟然需要30+分钟。

watermark介绍watermark生成方式watermark的生成值算法策略watermark策略设置代码watermark源码分析watermark源码调用流程debug（重要）测试思路迟到时间处理FlinkSql

1.1Canal1.2Maxwell2.修改的区别2.1Canal2,2Maxwell3.删除的区别3.1Canal3.2MaxwellFlinkCDC:DataStream:优点：多库多表缺点：需要自定义反序列化FlinkSQL

我们根据重点的工作内容将发展阶段划分为三个部分，第一阶段是以DataStreamAPI开发为主的Flink平台第二个阶段是以FlinkSQL为主一站式开发平台第三阶段是一站式开发平台的功能

FlinkSQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。

01FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5000+，在整个Flink作业中占比35%，同比增速达到了115%。

最近工作中需要开发一些新的Flinksql的connector，所以先开始研究研究Flinksql的执行流程。

目录一、设置空闲状态保留时间二、开启MiniBatch三、开启LocalGlobal四、开启SplitDistinct五、多维DISTINCT使用Filter六、设置参数总结FlinkSQL官网配置参数

FlinkSQL的优势1）Flink支持流批处理（支持有界数据和无界数据的处理）也就是流批一体。2）支持轻量级快照机制，可以用于容错。3）Flink是有状态的计算，相比storm无状态的计

思路分析：操作步骤（1）在MySQL中准备数据库、表，表数据（2）在FlinkSQL中创建MySQLoe_course_tpye的映射表mysql_bxg_oe_course_type（源表）（3）在FlinkSQL

Watermark机制Watermark机制，就是水印机制，也叫做水位线机制。就是专门用来解决流式环境下数据迟到问题的。MonotonousWatermark（单调递增水印）packageday05;importlombok.AllArgsConstructor;importlombok.Data;importlombok.NoArgsConstructor;importorg.apache.fl

flink1.14sql基础语法（二）flinksql表定义详解一、表的概念和类别1.1表的标识结构每一个表的标识由3部分组成：catalogname(常用于标识不同的“源”，比如hivecatalog

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等

系列文章目录提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言1.启动flinksql2.建kafka表3.读kafka的数据写入到kafka4.写入到iceberg4.1

MySQLtypeFlinkSQLtypeNOTETINYINTTINYINTSMALLINTSMALLINTTINYINTUNSIGNEDINTINTMEDIUMINTSMALLINTUNSIGNEDBIGINTBIGINTINTUNSIGNEDBIGINTUNSIGNEDDECIMAL(20,0)REALFLOATFLOATDOUBLEDOUBLENUMERIC(p,s)DECIMAL(p,s

1、开启binlog日志1.1、在mysql中对需要进行实时数据监测的库开启binlog同步sudovim/etc/my.cnf#添加数据库的binlogserver-id=1log-bin=mysql-binbinlog_format=rowbinlog-do-db=m_iceberg#重启MySQL服务sudosystemctlrestartmysqld具体如下1.2、查询是否开启cd/var

后来想想，也挺好的，可以让听众同时了解如何通过SQL的方式，和编程的方式使用FlinkSQL。SqlSubmit的主要任务是执行和提交一个SQL文件，实现非常简单，就是通过正则表达式匹配每个语句块。

最近在使用flinksql（jdbc）执行一个简单表同步，可是执行了半天都没有执行完，后面通过jstack找到了问题原因：where条件没有下推到数据库执行。

之前FlinkSql用的比较少，今天开始简单介绍一下。

然后我们再来看tableapi以及flinksql我们看,tableapi和flinksql我们来看看是什么东西,首先我们之前说过ProcessFunction,这个是处理一些底层的数据会用到这个,之前我们知道

前言与DataStream同样，官方在FlinkSQL上也提供了很多连接器，今天来学习总结一下JDBC连接器环境准备如果使用编码，需要引入两个依赖包，Flink提供的jdbc连接器依赖和和对应的mysql

目录资源配置调优TaskManager内存模型分配CPU资源并行度设置状态及CheckPoint调优RocksDB大状态调优CheckPoint设置反压处理数据倾斜处理Job优化FlinkSQL调优常见故障排除资源配置调优资源配置概述

背景：目前公司业务需要统计超过7天以上的特征统计，但是kafka只存7天的数据，如果只想通过flinksql去计算30天的用户特征要求当天生效，这是完不成的，但是看到下面的分享，感觉未来的方向有了。

1flinkSQL窗口概述1.1窗口定义:可理解为时间轴，可将无界流切分成有界流1.2窗口分类：TimeWindow：通过时间切割窗口，但是不知道窗口有多少数据滑动窗口滚动窗口会话窗口CountWindow

1.使用通过flinksql自动定义函数（udf）将实时接入的数据输出到http接口当中。

原文：Dlinkv0.6.6发布，交互式的FlinkSQLStudio-低调大师1.序篇博主这个系列都是讲flinksql相关的实践的。

原文：DlinkOnYarn三种Flink执行方式的实践-腾讯云开发者社区-腾讯云一、简介Dlink为ApacheFlink而生，让FlinkSQL更加丝滑。

11.7、函数FlinkSQL中的函数可以分为两类：一类是SQL中内置的系统函数，直接通过函数名调用就可以，能够实现一些常用的转换操作，比如之前我们用到的COUNT()、CHAR_LENGTH()、UPPER

1.版本对应的版本mysqlflinkkafkahudi5.7.20-logfink13.52.0.0.30.102.采用架构flink-hudi-kaka.png3.flinksql的mysqlcdc

系列文章目录提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档数据湖实践第一课flink+iceberg入门数据湖iceberg系列文章目录前言一、数据湖iceberg实践环境说明二、启动flinksql

例如，FlinkSQL就是使用ProcessFunction实现的。Key

之前写过一篇使用FlinkCDC的DataStream方式监控MySQL表变化的文章FlinkCDC实时监控MySQL这篇介绍下使用FlinkCDC的FlinkSQL方式监控表变化；1、MySQL开启binlog

Flink1.10版本，阿里将Blink中模块组件开源融合到ApacheFlink中，FlinkSQL模块主要就是阿里贡献。学习Flink分析引

FlinkSql1、简介2、网址3、SQL客户端4、Queries5、Create6、Drop7、Alter8、Insert9、ANALYZE10、Describe11、Explain12、Use13、

在1.11中，FlinkSQL也进行了大量的增强与完善，开发大功能10余项，不仅扩大了应用场景，还简化了流程，上手操作更简单。

1、实时写入文件配置实时写入必要配置：在flink-conf.yaml中配置checkpoints相关参数restart-strategy:fixed-delayrestart-strategy.fixed-delay.attempts:3restart-strategy.fixed-delay.delay:30sexecution.checkpointing.interval:1minexecu

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案FlinkCDC-Hudi:Mysql数据实时入湖全攻略三：探索实现FlinkCDCmysql主从库同步高可用FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkS

一.FlinkSQL和TableAPI简介Flink针对流处理和批处理，为我们提供了多种操作API。从图中可知，越上层的API抽象程度越高，门槛越低（大家都熟悉SQL），但也丧失了灵活性。