flink流式处理

Flink DataStream API编程

消费Kafka主题数据importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.serialization.SimpleStringSchema
柏舟飞流·2023-11-14 01:14

flink1.18.0 sql-client报错

报错FlinkSQL>select*fromt1;[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException
Thomas2143·2023-11-14 00:34

flink的键值分区状态自动过期ttl配置

背景flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态，但是这种方式容易出错而且代码也不优雅，使用flink提供的状态ttl的方式可以解决这个问题flink
lixia0417mul2·2023-11-13 22:07

flink对状态ttl进行单元测试

背景在处理键值分区状态时，使用ttl设置过期时间是我们经常使用的，但是任何代码的修改都需要首先进行单元测试，本文就使用单元测试来验证一下状态ttl的设置是否正确测试状态ttl超时的单元测试首先看一下处理函数：//处理函数publicclassMyStateProcessFunctionextendsKeyedProcessFunction{//键值分区状态ValueStatepreviousInp
lixia0417mul2·2023-11-13 22:36

flink的副输出sideoutput单元测试

背景处理函数中处理输出主输出的数据流数据外,也可以输出多个其他的副输出的数据流数据，当我们的处理函数有副输出时，我们需要测试他们功能的正确性，本文就提供一个测试flink副输出单元测试的例子测试flink
lixia0417mul2·2023-11-13 22:34

java table类api_Flink的Table API

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
nicole.yu·2023-11-13 20:07

Flink之Java Table API的使用

JavaTableAPI的使用使用JavaTableAPI开发添加依赖创建表环境创建表查询表输出表使用示例表和流的转换流DataStream转换成表Table表Table转换成流DataStream示例数据类型自定义函数UDF标量函数表函数聚合函数表聚合函数API方法汇总基本方法列操作聚合操作Joins合并操作排序GroupWindowsOverWindows使用JavaTableAPI开发添加依
CodeDevMaster·2023-11-13 20:01

Flink自定义aggregate聚合函数的步骤

第一步：将dataStream转换城windowedStream//kafka中的数据示例452437,3255022,5099474,pv,1511658000813974,1332724,2520771,buy,1511658000524395,3887779,2366905,pv,1511658000470572,3760258,1299190,pv,1511658001543789,311
Vincer_DB·2023-11-13 16:04

Flink从入门到精通之-12Flink CEP

Flink从入门到精通之-12FlinkCEP在Flink的学习过程中，从基本原理和核心层DataStreamAPI到底层的处理函数、再到应用层的TableAPI和SQL，我们已经掌握了Flink编程的各种手段
潘小磊·2023-11-13 14:31

Flink从入门到精通之-11Table API 和 SQL

Flink从入门到精通之-11TableAPI和SQL如图11-1所示，在Flink提供的多层级API中，核心是DataStreamAPI，这是我们开发流处理应用的基本途径；底层则是所谓的处理函数（processfunction
潘小磊·2023-11-13 14:01

1. 使用 fluent-bit 采集文件

流式处理引擎架构fluent-bit之所以
yz271544·2023-11-13 12:24

Apache Doris 系列： 基础篇-Flink DataStream 读写Doris

简介本文介绍Flink如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkDataStream写DorisFlinkDorisconnectorFlinkDorisconnector
修破立生·2023-11-13 12:42

Doris：读取Doris数据的N种方法

目录1.MySQLClient2.JDBC3.查询计划4.SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容
m0_37559973·2023-11-13 12:59

Flink之处理函数 （ProcessFunction）

之前所介绍的流处理API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都是基于DataStream进行转换的；所以可以统称为DataStreamAPI，这也是Flink编程的核心。
四维大脑·2023-11-13 11:04

Flink学习（3）——Window（窗口机制）API

1.Window的概念无论是无界的数据流还是有界的，Flink都可以做到接收一个数据就立即处理一个数据，最终我们可以得到整个数据流的所有数据的统计结果。
常识与偏见·2023-11-13 11:02

Flink

1.Flink简介1.1初识FlinkFlink项目的理念是：“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源的有状态的流处理框架”。
不吃香菜lw·2023-11-13 11:31

Flink CDC 2.0及其他数据同步工具对比

CDC的全称是ChangeDataCapture，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。基于查询的CDC：离线调度查询作业，批处理。依赖表中的更新时间字段，每次执行查询去获取表中最新的数据；无法捕获删除事件，从而无法保证数据一致性；无法保障实时性，基于离线调度存在天然的延迟。基于日志的CDC：实时消费日志，流处理。例如MySQL的binlog日志完整记录了数据库中的变
贾斯汀玛尔斯·2023-11-13 07:54

1.安装flink-1.12.2

FLINKonYARN模式解压安装包：tar-zvxfflink-1.12.2-bin-scala_2.11.tgz/opt/修改yarn配置，设置applicationmaster重启时尝试的最大次数
数据湖填坑·2023-11-12 22:02

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink
hykDatabases·2023-11-12 22:32

FlinkCEP - Flink的复杂事件处理

单个模式量词条件组合模式循环模式中的连续性模式操作consecutive()模式组匹配后跳过策略检测模式从模式中选取处理超时的部分匹配便捷的API(旧api迁移到新api)CEP库中的时间按照事件时间处理迟到事件时间上下文可选的参数设置例子FlinkCEP
京河小蚁·2023-11-12 22:29

flink-connector-mysql-cdc编译——flink-1.15.2版本

xflink-cdc编译——flink-1.15.2版本Flink目前最新版本已经更新到1.15.2版本，flink-cdc的release版本目前最新版本是2.2.1。
一棵枣树丶·2023-11-12 22:58

flink-cdc-oracle

flinkcdc抽取oracle数据首先需要在数据库方面对数据进行设置，参考网址如下https://blog.csdn.net/weixin_46580067/article/details/124985447
技术大白€·2023-11-12 22:28

【Flink Rest-ful API 】

Flink有了一些查询job状态指标的API,这些监控APIisaREST-fulAPI接受HTTP请求并返回JSONdata；这些监控API以jobManager中webserver为基础，默认其监听端口为
奔跑的前浪·2023-11-12 22:55

flink实战-- 生产环境flink程序注意事项

简介正常情况下Flink社区已尝试为每个配置提供合理的默认值，但是特殊应用场景需要我们设置具体配置项确保我们线上程序可以高性能的运行，重启等。
阿华田512·2023-11-12 22:24

【入门Flink】- 10基于时间的双流联合（join）

为了更方便地实现基于时间的合流操作，Flink的DataStremaAPI提供了内置的join算子。
不进大厂不改名二号·2023-11-12 21:25

Hive的表操作2

Hive系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-12 16:00

Flink SQL 表值聚合函数（Table Aggregate Function）详解

使用场景：表值聚合函数即UDTAF，这个函数⽬前只能在TableAPI中使⽤，不能在SQLAPI中使⽤。函数功能：在SQL表达式中，如果想对数据先分组再进⾏聚合取值：selectmax(xxx)fromsource_tablegroupbykey1,key2上⾯SQL的max语义产出只有⼀条最终结果，如果想取聚合结果最⼤的n条数据，并且n条数据，每⼀条都要输出⼀次结果数据，上⾯的SQL就没有办法实
猫猫爱吃小鱼粮·2023-11-12 13:34

FlinkSQL聚合函数（Aggregate Function）详解

使用场景：聚合函数即UDAF，常⽤于进多条数据，出⼀条数据的场景。上图展示了⼀个聚合函数的例⼦以及聚合函数包含的重要⽅法。案例场景：关于饮料的表，有三个字段，分别是id、name、price，表⾥有5⾏数据，找到所有饮料⾥最贵的饮料的价格，即执⾏⼀个max()聚合拿到结果，遍历所有5⾏数据，最终结果就只有⼀个数值。开发流程：实现AggregateFunction接⼝，其中所有的⽅法必须是publi
猫猫爱吃小鱼粮·2023-11-12 13:00

【基础】Flink -- DataStream API

Flink--DataStreamAPI执行环境ExecutionEnvironment创建执行环境设置执行模式触发程序执行源算子Source从集合中读取数据从文件读取数据从Socket读取数据自定义数据源转换算子
情绪大瓜皮丶·2023-11-12 11:33

Flink API - 基本转换算子

文章目录基本转换算子-MapFlink程序与数据流创建流执行环境读取输入流Source转换算子Transformation输出结果Sink执行基本转换算子-Filter基本转换算子-FlatMap类型基本转换算子会针对流中的每一个单独的事件做处理
wenvlove·2023-11-12 11:02

（十）Flink Datastream API 编程指南 算子-5 外部数据访问的异步I/O

文章目录需要异步I/O操作前提条件AsyncI/OAPI超时处理结果的顺序EventTime容错担保机制ImplementationTips说明本页面解释了使用Flink的API与外部数据存储进行异步I
京河小蚁·2023-11-12 11:31

（十）Flink Datastream API 编程指南 算子-2 Windows窗口计算

文章目录窗口的生命周期KeyedvsNon-KeyedWindowsWindowAssignersTumblingWindowsSlidingWindowsSessionWindowsGlobalWindowsWindowFunctionsReduceFunctionAggregateFunctionProcessWindowFunctionProcessWindowFunctionwithInc
京河小蚁·2023-11-12 11:31

（十）Flink Datastream API 编程指南 算子-4 Process Function

文章目录ProcessFunctionLow-levelJoins举例TheKeyedProcessFunctionTimersFaultTolerance计时器合并ProcessFunctionProcessFunction是一个低级流处理操作，允许访问所有(非循环)流应用程序的基本构建块:events(streamelements)state(fault-tolerant,consistent
京河小蚁·2023-11-12 11:31

Flink1.13 DataStream API - Event Time - Generating Watermarks

事件时间-生成watermarks生成Watermarks介绍Watermark策略使用Watermark策略处理空置的数据源编写WatermarkGenerators编写PeriodicWatermarkGenerator编写一个PunctuatedWatermarkGeneratorWatermark策略和Kafka连接器算子怎样处理watermarks过期的AssignerWithPerio
大怀特·2023-11-12 11:30

【flink学习笔记】【4】Datastream API-源算子

①getExecutionEnvironment②createLocalEnvironment③createRemoteEnvironment④执行模式批处理环境流处理环境三、source（源算子）3.1准备工作pojo类型3.2读取有界流3.3读取kafka3.5自定义source3.6自定义并行source四、flink
路过倾蜓·2023-11-12 11:59

Flink-按键分区状态-算子状态-广播状态

文章目录1.按键分区状态（KeyedState）1.2基本概念和特点1.3支持的结构类型1.4代码实现1.5状态生存时间（TTL）2算子状态（OperatorState）2.1基本概念和特点2.2状态类型2.3代码实现3.广播状态（BroadcastState）3.1基本用法3.2代码实例更多资源链接，欢迎访问作者gitee仓库：https://gitee.com/fanggaolei/learn
Fang GL·2023-11-12 11:29

Flink1.12 DataStream（java）常用算子示例

文章目录前言Map算子FlatMap算子Filter算子KeyBy算子Max、Min、Sum、Reduce算子maxminsumreduceUnion算子Connect算子CoProcessFunction、CoFlatMap、CoMapProcess算子SideOutputs算子（原split、select）Window算子CoGroup算子算子链式调用总结：前言DataStream算子我们在开
保护我方胖虎·2023-11-12 11:57

Flink学习——DataStream API

一个flink程序，其实就是对DataStream的各种转换。
five小点心·2023-11-12 11:26

flink DataStream API（六）算子-概述

文章目录Operators概述DataStreamTransformationsMapFlatMapFilterKeyByReduceWindowWindowAllWindowApplyWindowReduceUnionWindowJoinIntervalJoinWindowCoGroupConnectCoMap,CoFlatMapIteratePhysicalPartitioning（物理分区）
666呀·2023-11-12 11:25

Flink（四）【DataStream API - Source算子】

前言今天开始学习DataStream的API，这一块是Flink的核心部分，我们不去学习DataSet的API了，因为从Flink12开始已经实现了流批一体，DataSet已然是被抛弃了。
让线程再跑一会·2023-11-12 11:53

Flink在汽车行业的应用【面试加分系列】

很多同学问我为什么要发这些大数据前沿汇报？一方面是自己学习完后觉得非常好，然后总结发出来方便大家阅读；另外一方面，看这些汇报对你的面试帮助会很大，特别是面试前可以看看即将面试公司在大数据前沿的发展动向（我曾经就有过一次经历，面试网易云音乐前，我在B站看了一个大佬分享的网易云实时数仓，刚好在面试的时候就碰见他了，最后反问就主动跟他说我看过他的汇报，然后还提出了自己的一些思考，面试官当场就给我通过了）
三石大数据·2023-11-12 09:15

看完就会的Flink基础API

文章目录一、执行环境（ExecutionEnvironment）1、创建执行环境2、执行模式(ExecutionMode)3、触发程序执行二、源算子（Source）1、数据源类准备2、从集合中读取数据3、从文件中读取数据4、从Socket中读取数据5、从Kafka中读取数据6、自定义源算子(source)三、转换算子(Transformation)1、基本转换算子1.1映射(map)1.2过滤(f
ha_lydms·2023-11-12 08:50

flink1.12版本--滚动窗口水位线

flink1.12版本–滚动窗口水位线watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。
huangyueranbbc·2023-11-12 07:58

Flink--Watermark（水位线）与时间语义

Flink--Watermark（水位线）与时间语义时间语义设置EventTimeWatermark（水位线）Watermark的传递、引入和设定watermark的传递watermark的引入TimestampAssignerwatermark
Facouse·2023-11-12 07:27

【入门Flink】- 09Flink水位线Watermark

在窗口的处理过程中，基于数据的时间戳，自定义一个“逻辑时钟”。这个时钟的时间不会自动流逝；它的时间进展，就是靠着新到数据的时间戳来推动的。什么是水位线用来衡量事件时间进展的标记，就被称作“水位线”（Watermark）。具体实现上，水位线可以看作一条特殊的数据记录，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前的事件时间。而它插入流中的位置，就应该是在某个数据到来之后；这样就
不进大厂不改名二号·2023-11-12 07:57

Flink之Catalog

包及使用重启操作创建Catalog查看与使用Catalog自动初始化catalogHiveCatalog下载JAR包及使用重启操作hivemetastore服务创建Catalog查看与使用CatalogFlink
CodeDevMaster·2023-11-12 05:03

资料免费领取-Flink/Spark/Java/Python/Redis/Kafka/CK/ZK/ES/Flume

首先这是一篇资源福利篇，相信会有很多读者和笔者一样，学习一门技术，至少会有20%的时候来寻找好的学习文章或者书籍。之前在后台提供了相关技术的书籍和视频，但经常有读者后台私信反馈链接失效的问题。由于笔者所有的资源均在某网盘中存放，迁移成本较大，所有这里对获取方式进行了改变，流程可能会有所繁琐，但尽可能节省大家的时间，如还是遇到失效问题，请后台私信进行处理解决。这里先给大家汇总下相关资料，如感兴趣，请
进击吧大数据·2023-11-12 04:13

Flink状态编程学习笔记

Flink状态编程学习笔记简介状态编程为Flink处理机制的核心，状态用来保存信息，辅助计算，以及方便于故障恢复。
H.20·2023-11-12 03:27

大数据-玩转数据-Flume

Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。
人猿宇宙·2023-11-12 02:41

大数据博文列表

文章目录说明分享大数据简述搭建hadoop平台单机版集群版安装优化组件hadoophdfsyarnflinkHbaseElasticsearchkafkasparkhiveoozie其他vmwaredocker
羽落风起·2023-11-12 01:05
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他