Flink1.12

Flink Upsert Kafka SQL Connector 介绍

在Flink1.12版本中，新增了一个upsertconnector(upse
大数据AI·2024-02-20 07:00

【大数据面试题】005 谈一谈 Flink Watermark 水印

使用WaterMark一般有以下几个步骤：定义时间特性（Flink1.12已废弃，默认使用事件时
Jiweilai1·2024-02-08 07:54

实战：Flink 1.12 维表 Join Hive 最新分区功能体验

上周Flink1.12发布了，刚好支撑了这种业务场景，我也将1.12版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。
Apache Flink·2024-02-06 11:30

flink if函数false时对字符串做阶段的bug

背景flink官网对if函数就是我们正常的理解我们之前在使用flink1.12时候也没有发现问题，但是最近一个1.15的任务出现了一个bug本来应该返回cdefg，但是返回了cdeif(false,'abc
这个程序猿可太秀了·2024-01-22 10:25

flink1.12 stream windows-top-n

窗口top-Nflink1.12packagecom.cn.stream;importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.functions.AggregateFunction;importorg.apache.flink.api.common.funct
卤蛋x001·2024-01-16 08:41

【Flink】Flink中的时间和窗口

事件时间更重要，Flink1.12开始时间语义默认是事件时
ScriptGirl·2023-12-19 23:14

Flink-水位线和时间语义

在Flink中，由于处理时间比较简单，早期版本默认的时间语义是处理时间；而考虑到事件时间在实际应用中更为广泛，从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义了。
Stephen6Yang·2023-12-17 09:42

Flink-源算子-读取数据的几种方式

在Flink1.12以前，旧的添加source的方式，是调用执行环境的addSource()方法：DataStreamstream=env.addSource(
Stephen6Yang·2023-12-14 16:04

【重点】Flink四大基石

事件时间在实际应用中更为广泛，从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义。Flink可以根据不同的时间概念处理
不进大厂不改名二号·2023-12-03 04:01

flink1.12配置滚动日志（超详细）

flink1.12配置滚动日志（超详细）配置滚动生成的目的配置方式1.在代码中指定2.提交任务时指定3.官方建议详细配置完整的log4j.properties配置文件如下:flink1.12kafka的
重生之我在异世界打工·2023-11-30 22:03

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
另存為·2023-11-28 07:15

第一步 CDH6.3.2集成自制Flink1.12.7

一共分两步走：第一步：CDH制作Flink1.12.7第二步：CDH集成Flink1.12.7前提说明早期CDH6.3.2集成的Flink1.12存在log4j漏洞，所以需要重新编译这是之前Flink1.12
secretWHD·2023-11-25 14:18

flink（十）：Table&Sql注册表和视图

文章目录分享说明资料实现讲解代码总结分享大数据博客列表说明本文属于实战，讲解Flink1.12版本java代码注册表和视图的实现方法，开发环境搭建，参考上篇文章，这里不再赘述。
羽落风起·2023-11-19 01:48

Flink任务日志写到kafka【最新1.12，1.13】

Flink1.12开始默认的日志框架就是log4j2，那么配置的方式跟之前log4j的方式有了一些区别，这边也踩了一些坑才解决。
FishMAN_已存在·2023-11-16 08:49

Flink 1.12的CDC

本文将以Flink1.12为例，一一介绍这些特性的基本使用方式，主要包括以下内容：Flink集成HiveHiveCatalog与HiveDialectFlink读写HiveFlinkupsert-kafka
'煎饼侠·2023-11-15 19:56

Flink1.12 使用WatermarkStrategy生成时间戳

Flink1.12版本后建议使用assignTimestampsAndWatermarks(WatermarkStrategy)的方式生成watermark，之前使用的assignTimestampsAndWatermarks
柏舟飞流·2023-11-14 01:14

Flink1.12 DataStream（java）常用算子示例

文章目录前言Map算子FlatMap算子Filter算子KeyBy算子Max、Min、Sum、Reduce算子maxminsumreduceUnion算子Connect算子CoProcessFunction、CoFlatMap、CoMapProcess算子SideOutputs算子（原split、select）Window算子CoGroup算子算子链式调用总结：前言DataStream算子我们在开
保护我方胖虎·2023-11-12 11:57

flink1.12版本--滚动窗口水位线

flink1.12版本–滚动窗口水位线watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。
huangyueranbbc·2023-11-12 07:58

flink1.12 sql sql-client命令行连接yarn

step1开辟资源这里fcqueue是yarn资源队列名称默认是defaultyarn-session.sh-s2-jm1024-tm2048-nmyydd-qufcqueddue//如果需要后台运行:yarn-session.sh-s2-jm1024-tm2048-nmyydd-qufcqueude-dstep2提交任务sql-client.shembedded-syarn-session使用d
大数据刚入门的小菜鸟·2023-11-12 00:30

【Flink专题】基于Flink1.12的知识点总结

之前做flink开发时候的一些认知还有心得，没有研究多深，大家多提意见，有问题的地方麻烦更正，本系列基于flink1.12。
左美美 ￣　　·2023-11-03 17:49

Flink中的时间语义和水位线（Watermark）

在Flink中，由于处理时间比较简单，早期版本默认的时间语义是处理时间；而考虑到事件时间在实际应用中更为广泛，从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义了。
欢乐海豚·2023-10-28 00:25

【API篇】九、Flink的水位线

从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义了。2、事件时间和窗口逻辑上的时钟，不会像生活中的时钟，时间会自动流逝。08:59:59的数据到了，逻
-代号9527·2023-10-24 23:32

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
麻辣GIS·2023-10-16 05:24

Flink1.12 -- 高级API

1.Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。Checkpoint这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flink则
erainm·2023-10-13 20:21

Flink任务报Cannot have more than one execute() or executeAsync() call in a single environment

问题描述：使用Flink1.12开发的任务在本地IDEA中可以正常运行，发布到集群上报如下错误：java.util.concurrent.CompletionException:org.apache.flink.client.deployment.application.ApplicationExecutionException
一个不安分的程序员·2023-10-12 06:22

Flink1.13与Flink1.12的状态后端

Flink1.13与Flink1.12的状态后端Flink1.12的状态后端Flink1.13的状态后端Flink1.12的状态后端MemoryStateBackend内部数据作为对象在java堆空间中存储
是慕玄啊·2023-10-08 17:45

Flink之Watermark生成策略

在Flink1.12以后,watermark默认是按固定频率周期性的产生.在Flink1.12版本以前是有两种生成策略的:AssignerWithPeriodicWatermarks周期性生成watermarkAssignerWithPunctuatedWatermarks
飞天小老头·2023-09-28 07:16

大数据flink篇之二-基础实例wordcount

flink1.12版本后，批流进行了api统一。开发语言可以选择java和scala，这里选择java。下面以wordcount为例，讲解flink编程的流程。
风之清扬·2023-09-27 09:14

flink中interval join的flinkSQL实现以及状态的TTL过期时间

flink1.12中的intervaljoin限定于innerjoin,而flinkSQL中可以实现多种形式的连接：innerjoin、leftjoin、rightjoin、fulljoinpackagecom.atguigu.app
墨者大数据·2023-09-25 06:23

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

在上一篇分享Flink集成Hive之快速入门--以Flink1.12为例中，介绍了Flink集成Hive的进本步骤。
大数据技术与数仓·2023-09-15 12:37

Flink本地开发（例如在IDEA/Eclipse中）模式启动WEB-UI

前言我们在IDE中编写Flink代码，我们希望在IEDA中运行程序便能够查看到Web-UI，从而快速的了解Flink程序的运行情况（而无需自己手动安装Flink，以及打包提交任务）一、添加依赖本示例是基于Flink1.12
保护我方胖虎·2023-09-14 13:37

flink-1.14.4启动报错setPreferCheckpointForRecovery(Z)v

从flink1.12升级到flink1.14，修改了pom.xml的flink-version，打包的时候发现报错：//当有较新的Savepoint时，作业也会从Checkpoint处恢复env.getCheckpointConfig
飞鸟还巢·2023-09-14 07:37

Flink-1.12.0/1.14.3-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.12.0/1.14.3

**自己编译的Flink源码，并制作相应的parcel，已完成flink1.12和最新flink版本1.14.3.**如果不想自己编译，可以使用我编译和制作好的parcel文件。亲测可用。
陈一诺.·2023-09-11 07:14

Flink on Yarn集群HA高可用部署 基于flink1.12 hadoop 3.0 CDH6.3.2

1.1概要介绍FlinkonYarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次FlinkJob在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同
Mumunu-·2023-08-30 00:09

Flink Watermark 源码分析

一、如何生成在flink1.12(第一次学习的版本)时watermark生成策略还有两种:punctuated和periodic，在1.17中punctuated已被标记过时。
小王是个弟弟·2023-08-02 10:09

FlinkSQL 窗口聚合

1、窗口（Window）1.1GroupWindow（老版本）在Flink1.12之前的版本中，TableAPI和SQL提供了一组“分组窗口”（GroupWindow）函数，常用的时间窗口如滚动窗口、滑动窗口
hyunbar·2023-07-20 06:52

Flink集成Hive之快速入门--以Flink1.12为例

使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对Blink的整合宣告完成，对Hive的集成也达到了生产级别的要求。值得注意的是，不同版本的Flink对于Hive的集成有所差异，本文将以最新的Flink1
大数据技术与数仓·2023-07-17 09:32

Flink1.12读取Kafka数据写入到Hdfs | 含maven依赖 | FileSink

以下是我在公司项目上写的一些代码，删去了业务逻辑后的通用内容后续会再分享一些其他flink的链路首先肯定要先导入maven依赖我的依赖如下1.81.8UTF-82.11.82.113.0.0-cdh6.3.01.12.01.1.12.1.1-cdh6.3.01.2.05.1.401.10.0devtruecompileprodprovidedapache.snapshotsApacheDevelo
MIDSUMMER_yy·2023-06-14 16:39

万字长文|一文了解基于Flink构建流批一体数仓的技术点

本文将以Flink1.12为例，一一介绍这些特性的基本使用方式，主要包括以下内容：Flink集成HiveHiveCatalog与HiveDialectFlink读写HiveFlinkupsert-kafka
zhisheng_blog·2023-06-09 10:46

编译flink1.12.2以适配cdh6.3.2并制作其parcel

前言一步一步地实践已成熟的flink1.12以parcel方式部署cdh6.x，并测试flink-sql的kafka、upsert-kafka（含数据过期log.retention.minutes）、jdbc
benpaodexiaowoniu·2023-04-20 05:35

阿里云安装CDH6.3.2并集成flink1.12

1.购买阿里云服务器，修改配置信息如果有服务器可以跳过前面购买流程,如果没有服务器只是作为测试练习的话可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器有百分之0-3的回收率选择4核16GB的服务器，通用型g5最便宜所以选择这个选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费下一步确定订单购买完成8毛钱一个
与风共存·2023-04-14 17:00

Flink1.12 SQL连接器之JDBC Connector介绍与使用总结

前言与DataStream同样，官方在FlinkSQL上也提供了很多连接器，今天来学习总结一下JDBC连接器环境准备如果使用编码，需要引入两个依赖包，Flink提供的jdbc连接器依赖和和对应的mysql驱动包，以下为1.12.0提供的jdbc连接器依赖org.apache.flinkflink-connector-jdbc_2.111.12.0mysql依赖下载地址使用学习TheJDBCsink
俩只猴·2023-04-11 00:30

Flink进阶系列--FLIP-27新的Source架构

Source旧架构在Flink1.12之前，开发一个新的sourceconnector是通过实现SourceFunction接口来完成的。
打酱油的葫芦娃·2023-04-02 12:53

Flink相关API开发及运行架构和实现原理详解

FlinkDataStreamAPIProgrammingGuideFlink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起来难度越大注意：我自己使用的是flink1.7.2版本，但是在Flink1.12
程序员小王java·2023-04-01 16:38

Flink1.12 SQL连接器之JDBC Connector介绍与使用总结

前言与DataStream同样，官方在FlinkSQL上也提供了很多连接器，今天来学习总结一下JDBC连接器环境准备如果使用编码，需要引入两个依赖包，Flink提供的jdbc连接器依赖和和对应的mysql驱动包，以下为1.12.0提供的jdbc连接器依赖org.apache.flinkflink-connector-jdbc_2.111.12.0mysql依赖下载地址使用学习TheJDBCsink
俩只猴·2023-03-19 11:10

Flink 使用之批模式和流模式

在Flink1.12之前，Flink针对批处理作业和流处理作业分别提供了2套不同的API。用户对于批处理作业和流处理作业需要编写不同的应用代码。一定程度上限制了Flink的灵活性。
AlienPaul·2023-03-14 18:37

Flink 1.12 的bug吗？

例如:select*fromtempwhereid=1oridisnull这样的结果筛选出来不会包含id=null的结果,把id=1去掉只有idisnull这样的结果是正确的.据说是flink1.12底层优化造成
无来无去_A·2023-03-11 11:17

使用Docker配置Flink1.12.2开发测试环境

使用Docker配置Flink1.12开发测试环境简单介绍Docker现在是开发界必不可少的工具，我们使用docker能够快速将自己的应用进行测试和打包。
青山IT生活·2023-02-25 07:13

flink1.12 sql向redis实时写数据

插件名称：flink-connector-redis插件地址：https://github.com/jeff-zou/flink-connector-redis.git项目介绍基于bahir-flink二次开发，使它支持SQL直接定义写入redis,用户通过DDL指定自己需要保存的字段。使用方法:命令行执行mvnpackage-DskipTests=true打包后，将生成的包flink-conne
山里小龙·2023-02-04 02:21

Flink on Hive构建流批一体数仓

本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(TemporalTableJoin)与Flink读写H
大数据技术与数仓·2023-02-02 11:53
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他