DataStream

Flink整合面向用户的数据流SDKs/API(Flink关于弃用Dataset API的论述)

我们将不描述如何增强TableAPI/SQL和DataStream的所有技术细节。目标是在弃用DataSetAPI的想法上达成共识。必须有后续的flip来描述我们所维护的api的必要更改。
dhf123·2022-06-02 16:00

sparksteaming 和 flink的区别

过了窗口后DataStream的算子聚合操作就是有状态的操作了，所以flink要把聚合操作都放到窗口操作之
程序员的隐秘角落·2022-05-13 16:30

Flink专题三：Flink DataStream 算子介绍及使用

介绍和实际使用过程这是flink系列的第三篇文章FlinkDataStream算子介绍及使用算子介绍数据流常用转换方法MapFlatMapFilterKeyByreduceUnion算子介绍用户通过算子能将一个或多个DataStream
beyond的架构之旅·2022-03-16 06:02

Flink-4.Flink 热门商品分析

热搜榜TOP10，一小时区间内每五分钟刷新packagecom.ctgu.flink.project;importorg.apache.flink.streaming.api.datastream.DataStream
笨鸡·2022-03-09 09:28

Flink / Scala - DataSource 之 DataStream 获取数据总结

一.引言DataStreamAPI得名于特殊的DataStream类，该类用于表示Flink程序中的数据集合。你可以认为它们是可以包含重复项的不可变数据集合。
BIT_666·2022-03-08 09:27

大数据Hadoop之——Flink DataStream API 和 DataSet API

文章目录一、DataStreamAPI概述二、什么是DataStream？
大数据老司机·2022-02-28 10:48

Chapter 2 Data Processing Using the DataStream API- Window

WindowThewindowfunctionallowsthegroupingofexistingKeyedDataStreamabytimeorotherconditions.Thefollowingtransformationemitsgroupsofrecordsbyatimewindowof10secondswindows函数允许对已有的KeyedDataStream通过时间或其他条件进
zh_harry·2022-02-21 10:14

第五章.Flink DataStream API

5.1Flink运行模型微信截图_20190523140417.png以上为Flink的运行模型，Flink的程序主要由三部分构成，分别为Source、Transformation、Sink。DataSource主要负责数据的读取，Transformation主要负责对属于的转换操作，Sink负责最终数据的输出。5.2Flink程序架构每个Flink程序都包含以下的若干流程：获得一个执行环境；（
__元昊__·2022-02-19 12:25

Flink:DataStream类型转换及常用算子说明

1、DataStream算子转换概览DataStreamFormations2、DataStream转换算子（1）Map[DataStream->DataStream]说明：一对一转换,即一条转换成另一条调用用户定义的
傻子般白痴·2022-02-19 09:03

flink sql 知其所以然（十九）：Table 与 DataStream 的转转转（附源码）

废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，Flink支持了SQL和TableAPI中的Table与DataStream
大数据羊说·2022-02-18 15:35

Flink采坑-bean对象规范

StreamExecutionEnvironment.getExecutionEnvironment();env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);dataStream.filter
·2022-02-09 15:20

Flink DataStream join小规模维度数据的简便方法

最近真的非常忙，所以只能写点这种类似工作总结的小短文了，看官勿怪。在编写基于Flink的ETL程序时，我们经常需要用维度数据丰富我们接入的流式数据，如通过商品ID获得商品名称、通过商品分类ID获得分类名称等等。而维度表基本都位于外部存储，换句话说，就是要解决一个无界的流式表与一个有界的码表或半静态表做join操作的问题。一般情况下的首选方案是Flink内置的异步I/O机制，必要时还得配合使用高效的
LittleMagic·2022-02-08 20:31

Chapter 2 Data Processing Using the DataStream API- partitioning

PhysicalpartitioningFlinkallowsustoperformphysicalpartitioningofthestreamdata.Youhaveanoptiontoprovidecustompartitioning.Letushavealookatthedifferenttypesofpartitioning.(Flink允许我们对流进行物理分区。你也可以选择自定义分区。
zh_harry·2022-02-03 04:34

Datastream 开发打包问题

简介：Datastream作业开发时往往会遇到一些jar包冲突等问题，本文主要讲解作业开发时需要引入哪些依赖以及哪些需要被打包进作业的jar中，从而避免不必要的依赖被打入了作业jar中以及可能产生的依赖冲突
·2022-01-28 14:39

Flink算子和入门案例（wordcount）

文章目录入门案例：1.Flink入门案例wordcount自定义source2.基于本地构建DataStream,基于文件构建DataStream，基于socket构建DataStream，自定义source3
落幕7·2021-11-23 22:18

JdbcSink 简析

1、JdbcSink  用于DataStream增加Jdbc的Sink输出，主要两个接口：sink()和exactlyOnceSink()。
·2021-07-27 19:36

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

简介：在1.13中，针对流批一体的目标，Flink优化了大规模作业调度以及批执行模式下网络Shuffle的性能，以及在DataStreamAPI方面完善有限流作业的退出语义。本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞)在5月22日北京站FlinkMeetup分享的《面向流批一体的Flink运行时与DataStreamAPI优化》。文章主要分为4个部分：回顾Flink流批一体的
·2021-07-27 19:54

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞)在5月22日北京站FlinkMeetup分享的《面向流批一体的Flink运行时与DataStreamAPI优化》。文章主要分为4个部分：回顾Flink流批一体的设计介绍针对运行时的优化点介绍针对DataStreamAPI的优化点总结以及后续的一些规划。1.流批一体的Flink1.1架构介绍首先看下Flink流批一体的整体逻辑。Fli
·2021-07-27 19:16

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

简介：在1.13中，针对流批一体的目标，Flink优化了大规模作业调度以及批执行模式下网络Shuffle的性能，以及在DataStreamAPI方面完善有限流作业的退出语义。本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞)在5月22日北京站FlinkMeetup分享的《面向流批一体的Flink运行时与DataStreamAPI优化》。文章主要分为4个部分：回顾Flink流批一体的
·2021-07-27 19:45

PyFlink 教程：PyFlink DataStream API - state & timer

简介：介绍如何在PythonDataStreamAPI中使用state&timer功能。一、背景Flink1.13已于近期正式发布，超过200名贡献者参与了Flink1.13的开发，提交了超过1000个commits，完成了若干重要功能。其中，PyFlink模块在该版本中也新增了若干重要功能，比如支持了state、自定义window、row-basedoperation等。随着这些功能的引入，Py
·2021-06-18 22:34

回顾 | Apache Flink 1.13 新版本 x 互娱实践分享 Meetup · 北京站精彩回顾

例如WindowTVF，DataStream&TableAPI交互等；还有来自字节跳
·2021-06-18 22:30

PyFlink 教程（三）：PyFlink DataStream API - state & timer

一、背景Flink1.13已于近期正式发布，超过200名贡献者参与了Flink1.13的开发，提交了超过1000个commits，完成了若干重要功能。其中，PyFlink模块在该版本中也新增了若干重要功能，比如支持了state、自定义window、row-basedoperation等。随着这些功能的引入，PyFlink功能已经日趋完善，用户可以使用Python语言完成绝大多数类型Flink作业的
·2021-06-18 22:49

PyFlink 教程：PyFlink DataStream API - state & timer

简介：介绍如何在PythonDataStreamAPI中使用state&timer功能。一、背景Flink1.13已于近期正式发布，超过200名贡献者参与了Flink1.13的开发，提交了超过1000个commits，完成了若干重要功能。其中，PyFlink模块在该版本中也新增了若干重要功能，比如支持了state、自定义window、row-basedoperation等。随着这些功能的引入，Py
·2021-06-18 21:54

通过Flink 程序模板来学习StreamExecutionEnvironment 、DataStream 、StreamTransformation类

一、回到起点一切都从最初的起点开始，我们来看官网给出的FlinkJob程序的框架：publicclassStreamingJob{publicstaticvoidmain(String[]args)throwsException{//setupthestreamingexecutionenvironmentfinalStreamExecutionEnvironmentenv=StreamExecu
卧雪听月·2021-06-13 23:04

Apache Flink 学习笔记（一）

Flink则不同，批处理用DataSet，流处理用DataStream，而
憨人Zoe·2021-06-12 00:34

Flink支持哪些数据类型?

一、支持的数据类型Flink对可以在DataSet或DataStream中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。
·2021-06-09 16:30

Flink实战(五) - DataStream API编程

1概述Flink中的DataStream程序是实现数据流转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。最初从各种源（例如，消息队列，套接字流，文件）创建数据流。
JavaEdge·2021-06-08 03:47

Flink DataStream API详解

FlinkAPI介绍Flink提供了三层API，每层在简洁性和表达性之间进行了不同的权衡。flink-apiProcessFunction是Flink提供的最具表现力的功能接口，它提供了对时间和状态的细粒度控制，能够任意修改状态。所以ProcessFunction能够为许多有事件驱动的应用程序实现复杂的事件处理逻辑。DataStreamAPI为许多通用的流处理操作提供原语，比如window。Dat
零度沸腾_yjz·2021-05-17 03:30

Apache Flink 学习笔记（二）

流处理也叫无界处理，因为数据是源源不断的被加载进来的，流处理需要用到DataStream类。本篇demo将结合kafka（公司有现成的消息生产者）来演示。
憨人Zoe·2021-05-16 16:52

一文抽丝剥茧带你掌握复杂Gremlin查询的调试方法

每个Gremlin遍历由一系列步骤（可以存在嵌套）组成，每一步都在数据流（datastream）上执
华为云·2021-05-06 10:16

Operators

原文链接操作符将一个或多个DataStream转换成为新的DataStream。程序可以将多个转换组合成复杂的数据流拓步。
小C菜鸟·2021-05-03 23:32

2021年大数据Flink（三十九）：Table与SQL 总结 Flink-SQL常用算子

SELECTWHEREDISTINCTGROUPBYUNION和UNIONALLJOINGroupWindowTumbleWindowHopWindowSessionWindow总结Flink-SQL常用算子SELECTSELECT用于从DataSet/DataStream
Lansonli·2021-05-02 22:48

Flink DataStream 状态和容错 三：Savepoint 和 Restart

SavepointSavepoint和Checkpoint的区别Savepoint是命令触发的Checkpoint，对流式程序做一次完整的快照并将结果写到Statebackend，可用于停止、恢复或更新Flink程序。整个过程依赖于Checkpoint机制。另一个不同之处是，Savepoint不会自动清除。分配OperatorIDsSavepoint中会以OperatorID作为key保存每个有状
Alex90·2021-04-28 09:58

Flink DataStream API 编程指南

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/datastream_api.htmlFlink中的DataStream
写Bug的张小天·2021-04-26 00:13

聊聊flink的SocketClientSink

/org/apache/flink/streaming/api/datastream/DataStream.java/***WritestheDataStreamtoasocketasabytearra
go4it·2021-04-24 00:05

flink学习笔记-支持的数据类型

大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz4.支持的数据类型Flink对DataSet和DataStream
大数据研习社·2021-04-19 10:54

Flink SQL w/ Blink Planner执行流程解析（上篇）

用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSetAPI的复杂细节，降低了使用门槛。那么，一条FlinkSQL语句是如何转化成可执行的
LittleMagic·2021-04-18 20:24

Flink DataStream 状态和容错 一：状态的使用

有状态函数（Statefulfunction）和算子（Operator）在处理独立的数据或事件时存储数据，使得状态（State）成为任何复杂算子中的关键部分，例如：当应用检索特定的事件模式，State将存储到接收到的事件的序列。当按照分钟/小时/天的唯独聚合事件时，状态将保留待处理的聚合状态。当在流数据上进行机器学习的模型训练时，状态保存模型当前版本的参数。当需要管理历史数据时，状态允许有效地访问
Alex90·2021-04-18 06:56

flink学习笔记-流式迭代运算

大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD14.支持的数据类型Flink对DataSet和DataStream
大数据研习社·2021-04-17 19:27

如何理解 Flink 中的 算子（operator）与链接（chain）？

常见Operators官方支持的数据流转换类型文档MapDataStream->DataStream接受一个元素，然后生成一个元素。
王小奕·2021-04-15 17:21

canal和FlinkCDC的总结

文章目录1.canalcanal的介绍Canal原理流程图2.FlinkCDC2.1什么是CDC2.2CDC的种类2.2.1DataStream的方式(默认序列化器)2.2.2FinkSQL的方式2.2.3DataStream
Null is Null·2021-04-03 16:57

Flink 执行引擎：流批一体的融合之路

内容包括：1、背景2、流批一体的分层架构3、流批一体DataStream4、流批一体DAGScheduler5、流批一体的Shuffle架构6、流批一体的容错策略7、未来展望一、背景随着互联网和移动互联网的不断发展
·2021-03-25 16:07

ProcessFunction以及案例踩坑

ProcessFunction和CoProcessFunction说明DataStream与KeyedStreamd都有Process方法,DataStream接收的是ProcessFunction，而
LZhan·2021-03-11 03:26

Flink中关于Window API 演示以及时间窗口详解

1.Flink中窗口的API分类在Flink流计算中，提供Window窗口API分为两种1）、针对KeyedStream窗口API：window第一步、数据流DataStream调用keyBy函数分组，
LBJ_小松鼠·2021-03-08 20:59

DataStream体系和Transformation体系

#DataStream体系&Transformation体系##DataStream体系###DataStream介绍DataStream是Flink数据流核心抽象，其上定义了数据流的一系列操作，同时也定义了与其他
余双_833c·2021-02-23 20:59

Flink 算子Function实例化的坑

问题回顾关于一段代码：objectMySingleObj{//陷阱：//单例对象中一个是可变引用，一个是可变数组varstr:String=_vallist=newListBuffer[String]}...dataStream.map
小米的蝉·2021-02-23 14:56

大数据实操篇 No.16-记一次完整的Flink流计算案例（DataStream API）

第1章简介本篇文章采用FlinkDataStreamAPI完成一次端到端的完成流计算案例，将数据从Kafka抽取，写入Elasticsearch中，并且用kibana动态的展示出来。（客户端=>WebAPI服务=>Kafka=>Flink=>Elasticsearch=>Kibana）。第2章案例设计先定一个简单的需求（就根据当下的疫情情况来做吧）：统计各地区新冠疫情风险等级。我们假定每个地区确诊
pezynd·2021-02-09 13:20

如何跑通第一个 DataStream 作业？

简介：本文由阿里巴巴技术专家叶佳纯（自知）分享，主要介绍如何在实时计算Flink版中跑通DataStream作业。
阿里云开发者·2021-02-03 16:32

Flink常用的DataSet 和 DataStream API

目前版本1.10依然采用DataSet和DataStream两套API来适配不同的应用场景。2、DataSe
王知无-大数据技术与架构·2021-01-17 19:43

Flink Kafka Connector介绍和使用（DataStream and Table）

前言Flink提供了一个ApacheKafka连接器，我们可以很方便的实现从Kafka主题读取数据和向其写入数据。Flink附带了提供了多个Kafka连接器：universal通用版本，0.10，0.11官方文档解释说universal(通用版本)的连接器，会尝试跟踪Kafka最新版本，兼容0.10或者之后的Kafka版本，官方文档也说对于绝大多数情况使用这个即可。在最新的官方文档上有这个通用版本
俩只猴·2020-12-31 10:48
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他