DataStream

flink---window

Window介绍DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/
搞数据的小杰·2024-09-08 00:38

Flink实践场景-通过DataStream KeyedProcessFunction统计每小时的出租车司机的收入

一、场景说明以及依赖请查看上一篇介绍Flink实践场景-通过DataStreamApi统计每小时的出租车司机的收入-CSDN博客二、KeyedProcessFunction介绍在Flink中，KeyedProcessFunction是一种特殊类型的处理函数，它允许你对数据流中的每个键（key）分别进行处理。这种处理函数特别适用于需要对每个键维护独立状态或定时器的场景。按照上述说法，本人之前的错误理
似水_逆行·2024-09-05 10:12

Flink SQL w/ Blink Planner执行流程解析（上篇）

用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSetAPI的复杂细节，降低了使用门槛。那么，一条FlinkSQL语句是如何转化成可执行的
码农老K·2024-08-27 17:44

flink报错找不到类java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

问题：解决方法：把这个Adddependencieswith"provided"scopetoclasspath勾选上
搞数据的小杰·2024-08-26 23:22

2024年最新Flink教程,从基础到就业，大家一起学习--Flink DataStream API-第一篇+源码讲解

本文涉及到大量的底层原理知识，包括运行机制图解都非常详细，还有一些实战案例，所以导致本篇文章会比较长，内容比较多，由于内容太多，很多目录可能展示不出来，需要去细心的查看，非常适合深入了解学习flink的小伙伴们，如果你们喜欢这篇文章可以多多关注，大家一起学习，还可以在评论区留言谈论一下问题。往期回顾：2024年最新Flink教程,从基础到就业，大家一起学习--基础篇_flinktutorials提
长风清留扬·2024-08-26 22:19

（九）基于 Flink DataStream API 应用案例

在11.11购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以2023.11.11购物节大促为背景，完成如下任务的计算：问题1：每隔1秒统计购物节当日从零点开始，截止到当前时间总交易额。问题2：基于销售的商品，按照品牌分类，每小时统计对应品牌下的总订单量。基于上面的应用场景，结合DataStreamAPI，完成技术方案设计，并输出实现代码。目录问题1详解问题2
springk·2024-08-25 21:55

Flink算子通用状态应用测试样例

finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);2.创建数据源，生成随机数据DataStream
公子乂·2024-03-27 05:23

pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object

完整报错Traceback(mostrecentcalllast):File"/Users//1.py",line851,inds1=my_datastream.key_by(lambdax:x[0])
Thomas2143·2024-03-19 18:31

flink: 自定义表函数的用法

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStream
amadeus_liu2·2024-03-17 03:37

flink:自定义函数的简单用法

packagecn.edu.tju.demo3;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming.api.datastream.DataStream
amadeus_liu2·2024-03-17 03:07

【Flink入门修炼】1-3 Flink WordCount 入门实现

下面将从创建项目开始，介绍如何创建出一个Flink项目；然后从DataStream流处理和FlinkSQL执行两种方式来带大家学习WordCount程序的开发。
·2024-02-19 20:28

[Flink01] 了解Flink

Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，第四篇是《TableApi&SQL》。
YoungerChina·2024-02-19 16:41

02-flink基本架构

将DataStream和Dat
蜗牛写java·2024-02-14 13:54

Flink从入门到实践（二）：Flink DataStream API

文章目录系列文章索引三、DataStreamAPI1、官网2、获取执行环境（Environment）3、数据接入（Source）（1）总览（2）代码实例（1.18版本已过时的）（3）使用Source接口4、数据处理（Transformation）（1）总览（2）Map（后续用该结果测试）（3）Filter（4）FlatMap（5）KeyBy（6）Reduce（7）Union（8）Connect（9
秃了也弱了。·2024-02-09 08:48

【Flink入门修炼】1-3 Flink WordCount 入门实现

下面将从创建项目开始，介绍如何创建出一个Flink项目；然后从DataStream流处理和FlinkSQL执行两种方式来带大家学习WordCount程序的开发。
大数据王小皮·2024-02-08 07:54

可以讲讲Flink的优化吗，具体以项目中某个例子举例一下？

避免非并行度操作，有些对DataStream的操作会导致无法并行，例如WindowAll。（3）调用rebalance操作，使数据分区均匀。（4）自定义分区：使用一个用户自定
大数据左右手·2024-02-04 06:09

Flink的dataStream的状态保存和恢复

我们前面写的wordcount的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(atleastonce,exactlyonce)，Flink引入了state和checkpoint。首先区分一下两个概念state一般指一个具体的task/operator的状态【state数据默认保存在java的堆内存中】而
我还不够强·2024-02-03 13:25

Flink知识点概述

在无边界和有边界数据流上纪念性有状态的计算主要特性1.批流统一批处理：数据全部访问完成后进行操作有界、持久、大量，适合访问全套记录才能完成的工作，一般用于离线统计流处理：来一条数据处理一条数据无界、实时，不需要操作整个系统无界流(Datastream
内向仓鼠·2024-02-02 21:39

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

Flink CEP实现10秒内连续登录失败用户分析

FlinkCEP即FlinkComplexEventProcessing，是基于DataStream流式数据提供的一套复杂事件处理编程模型。
core512·2024-01-31 10:46

flink sql 知其所以然（八）：flink sql tumble window 的奇妙解析之路

针对datastreamapi大家都比较熟悉了，还是那句话，在datastream中，你写的代码逻辑是什么样的，它最终的执行方式就是什么样的。但是对于
大数据羊说·2024-01-31 08:08

Flink多流转换（2）—— 双流连结

双流连结（Join）：根据某个字段的值将数据联结起来，“配对”去做处理窗口联结（WindowJoin）可以定义时间窗口，并将两条流中共享一个公共键（key）的数据放在窗口中进行配对处理代码逻辑首先需要调用DataStream
THE WHY·2024-01-26 08:42

【Flink-1.17-教程】-【四】Flink DataStream API（6）转换算子（Transformation）【合流】

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（6）转换算子（Transformation）【合流】1）联合（Union）2）连接（Connect）2.1.连接流（ConnectedStreams）2.2.CoProcessFunction在实际应用中，我们经常会遇到来源不同的多条流，需要将它们的数据进行联合处理。所以Flink中合流的操作会更加普遍，对应的API也更加
bmyyyyyy·2024-01-25 14:58

流批一体计算引擎-7-[Flink]的DataStream连接器

参考官方手册DataStreamConnectors1DataStream连接器概述一、预定义的Source和Sink一些比较基本的Source和Sink已经内置在Flink里。
皮皮冰燃·2024-01-25 14:56

【Flink-1.17-教程】-【四】Flink DataStream API（7）输出算子（Sink）

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（7）输出算子（Sink）1）连接到外部系统2）输出到文件3）输出到Kafka4）输出到MySQL（JDBC）5）自定义Sink输出Flink作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持。1）连接到外部系统Flink的DataStreamAPI专门提供了向外部写入数据的方法：addSink。与
bmyyyyyy·2024-01-25 12:08

Flink状态应用测试程序示例

StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);2.创建数据流//2.创建数据流DataStream
公子乂·2024-01-25 12:35

【Flink-1.17-教程】-【四】Flink DataStream API（5）转换算子（Transformation）【分流】

也就是基于一个DataStream，定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。1）使用filter简单实现其实根据条件筛选数据的需求，本身非常容
bmyyyyyy·2024-01-24 07:48

Flink多流转换（1）—— 分流&合流

也就是基于一个DataStream，得到
THE WHY·2024-01-24 07:47

Flink 算子：数据处理的魔法师

目录导语数据流转换物理分区配置Slot共享组名字和描述导语用户通过算子能将一个或多个DataStream转换成新的DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。
莫噶·2024-01-23 18:58

DataStream API(源算子)

Flink支持的数据类型6.1Flink支持多种数据类型，包括但不限于：6.2对于POJO类型，Flink有以下要求：转换算子输出算子源算子Flink是一个强大的流处理框架，可以从各种数据源中获取数据，并构建DataStream
佛系爱学习·2024-01-23 16:17

DataStream API（转换算子）

目录源算子转换算子1，基本转换算子1.1映射（map）1.2过滤（filter）1.3扁平映射（flatMap）2，聚合算子2.1按键分区（keyBy）2.2简单聚合3，用户自定义函数3.1.函数类（FunctionClasses）3.2富函数类（RichFunctionClasses）4，物理分区输出算子源算子源算子转换算子1，基本转换算子1.1映射（map）Map()是大数据处理中常用的一个算
佛系爱学习·2024-01-23 16:17

大数据学习之Flink算子、了解DataStream API（基础篇一）

DataStreamAPI（基础篇）注：本文只涉及DataStream原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。
十二点的泡面·2024-01-23 14:51

flink1.18 广播流 The Broadcast State Pattern 官方案例scala版本

对应官网https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/broadcast_state
Thomas2143·2024-01-23 08:49

Flink之Transformation

数据源读入数据之后，我们就可以使用各种转换算子，将一个或多个DataStream转换为新的DataStream。一个Flink程序的核心，其实就是所有的转换操作，它们决定了处理的业务逻辑。
不加班程序员·2024-01-23 06:55

【Flink-1.17-教程】-【四】Flink DataStream API（3）转换算子（Transformation）【用户自定义函数（UDF）】

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（3）转换算子（Transformation）【用户自定义函数（UDF）】1）函数类（FunctionClasses）2）富函数类（RichFunctionClasses）用户自定义函数（user-definedfunction，UDF），即用户可以根据自身需求，重新实现算子的逻辑。用户自定义函数分为：函数类、匿名函数、富函
bmyyyyyy·2024-01-23 03:23

【Flink-1.17-教程】-【四】Flink DataStream API（2）转换算子（Transformation）【基本转换算子、聚合算子】

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（2）转换算子（Transformation）【基本转换算子、聚合算子】1）基本转换算子（map/filter/flatMap）1.1.映射（map）1.2.过滤（filter）1.3.扁平映射（flatMap）2）聚合算子（Aggregation）2.1.按键分区（keyBy）2.2.简单聚合（sum/min/max/mi
bmyyyyyy·2024-01-23 03:51

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（1）源算子（Source）1）执行环境（ExecutionEnvironment）1.1.创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka读取数据2.6.从
bmyyyyyy·2024-01-22 11:34

Flink旁路输出OutputTag

文章目录前言代码示例1.流复制2.条件分流3.迟到数据分流前言除了由DataStream操作产生的主要流之外，还可以产生任意数量的旁路输出结果流。
shandongwill·2024-01-17 12:42

FlinkAPI开发之处理函数

https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的流处理API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都是基于DataStream
Appreciate(欣赏)·2024-01-17 06:03

【状态管理｜概述】Flink的状态管理：为什么需要state、怎么保存state、对于state过大怎么处理

3.设置checkpoint3.1.大状态下设置checkpoint3.2.EXACTLY_ONCE下设置分析checkpoint三.State设置过期时间1.datastream的TTL2.TableAPI
roman_日积跬步-终至千里·2024-01-17 01:13

Flink定制化功能开发，demo代码

本文将通过flink的DataStream模块API，以kafka为数据源，构建一个基础测试环境；包含一个kafka生产者线程工具，一个自定义FilterFunction算子，一个自定义MapFunction
i7杨·2024-01-15 23:31

【flink番外篇】16、DataStream 和 Table 相互转换示例

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchanchn·2024-01-14 22:59

Flink-SQL——动态表 (Dynamic Table)

动态表(DynamicTable)文章目录动态表(DynamicTable)DataStream上的关系查询动态表&连续查询(ContinuousQuery)在流上定义表连续查询更新和追加查询查询限制表到流的转换总结
不二人生·2024-01-14 13:48

【高级应用】Flink Cep模式匹配

Pattern就是Cep里的规则制定Pattern分为个体模式，组合模式（模式序列）和模式组模式组是将组合模式作为条件的个体模式Cep开发流程DataStream或Keyedstream定义规则(Pattern
不进大厂不改名二号·2024-01-13 10:21

TCP/IP各流程中的seq number与ack seq number

概念sequencenumber：表示的是我方（发送方）这边，这个packet的数据部分的第一位应该在整个datastream中所在的位置。（注意这里使用的是“应该”。
qq_18145605·2024-01-11 16:17

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

DataTypes&SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes（特殊类型）TypeErasure&TypeInference（类型擦除和类型推断）Typeh
ε(´ο｀*)))·2024-01-11 05:30

Flink｜《Flink 官方文档 - DataStream API - 状态与容错 - 数据类型以及序列化 - 概览》学习笔记

支持的数据类型因为Flink需要根据类型选择更有效的执行策略，所以限制了允许在DataStream中存在的数据类型。
长行·2024-01-11 05:59

Flink项目开发记录之合并数据流

flink1.9.0这边就是常用jar，就不列出了，合并流我这边选择是使用相同的key流然后设置时间的上下限，进行合流项目背景：由于业务需求，将原本的从kafka接收的数据流，经过业务A处理，变成了a,b两个dataStream
清清清清清清·2024-01-08 09:17

FlinkAPI开发之数据分流

也就是基于一个DataStream，定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。简单实现其实根据条件筛选数据的需求，本身非
Appreciate(欣赏)·2024-01-08 09:47

Flink Side Outputs

SideOutput功能从Flink1.3.0版本开始提供，FLINK-4460除了从DataStream操作的结果中获取主数据流之外，还可以产生任意数量额外的旁路输出（sideoutput）结果流。
Alex90·2024-01-07 07:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他