datastream

Flink采坑-bean对象规范

StreamExecutionEnvironment.getExecutionEnvironment();env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);dataStream.filter
·2022-02-09 15:20

Flink DataStream join小规模维度数据的简便方法

最近真的非常忙，所以只能写点这种类似工作总结的小短文了，看官勿怪。在编写基于Flink的ETL程序时，我们经常需要用维度数据丰富我们接入的流式数据，如通过商品ID获得商品名称、通过商品分类ID获得分类名称等等。而维度表基本都位于外部存储，换句话说，就是要解决一个无界的流式表与一个有界的码表或半静态表做join操作的问题。一般情况下的首选方案是Flink内置的异步I/O机制，必要时还得配合使用高效的
LittleMagic·2022-02-08 20:31

Chapter 2 Data Processing Using the DataStream API- partitioning

PhysicalpartitioningFlinkallowsustoperformphysicalpartitioningofthestreamdata.Youhaveanoptiontoprovidecustompartitioning.Letushavealookatthedifferenttypesofpartitioning.(Flink允许我们对流进行物理分区。你也可以选择自定义分区。
zh_harry·2022-02-03 04:34

Datastream 开发打包问题

简介：Datastream作业开发时往往会遇到一些jar包冲突等问题，本文主要讲解作业开发时需要引入哪些依赖以及哪些需要被打包进作业的jar中，从而避免不必要的依赖被打入了作业jar中以及可能产生的依赖冲突
·2022-01-28 14:39

Flink算子和入门案例（wordcount）

文章目录入门案例：1.Flink入门案例wordcount自定义source2.基于本地构建DataStream,基于文件构建DataStream，基于socket构建DataStream，自定义source3
落幕7·2021-11-23 22:18

JdbcSink 简析

1、JdbcSink  用于DataStream增加Jdbc的Sink输出，主要两个接口：sink()和exactlyOnceSink()。
·2021-07-27 19:36

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

简介：在1.13中，针对流批一体的目标，Flink优化了大规模作业调度以及批执行模式下网络Shuffle的性能，以及在DataStreamAPI方面完善有限流作业的退出语义。本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞)在5月22日北京站FlinkMeetup分享的《面向流批一体的Flink运行时与DataStreamAPI优化》。文章主要分为4个部分：回顾Flink流批一体的
·2021-07-27 19:54

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞)在5月22日北京站FlinkMeetup分享的《面向流批一体的Flink运行时与DataStreamAPI优化》。文章主要分为4个部分：回顾Flink流批一体的设计介绍针对运行时的优化点介绍针对DataStreamAPI的优化点总结以及后续的一些规划。1.流批一体的Flink1.1架构介绍首先看下Flink流批一体的整体逻辑。Fli
·2021-07-27 19:16

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

简介：在1.13中，针对流批一体的目标，Flink优化了大规模作业调度以及批执行模式下网络Shuffle的性能，以及在DataStreamAPI方面完善有限流作业的退出语义。本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞)在5月22日北京站FlinkMeetup分享的《面向流批一体的Flink运行时与DataStreamAPI优化》。文章主要分为4个部分：回顾Flink流批一体的
·2021-07-27 19:45

PyFlink 教程：PyFlink DataStream API - state & timer

简介：介绍如何在PythonDataStreamAPI中使用state&timer功能。一、背景Flink1.13已于近期正式发布，超过200名贡献者参与了Flink1.13的开发，提交了超过1000个commits，完成了若干重要功能。其中，PyFlink模块在该版本中也新增了若干重要功能，比如支持了state、自定义window、row-basedoperation等。随着这些功能的引入，Py
·2021-06-18 22:34

回顾 | Apache Flink 1.13 新版本 x 互娱实践分享 Meetup · 北京站精彩回顾

例如WindowTVF，DataStream&TableAPI交互等；还有来自字节跳
·2021-06-18 22:30

PyFlink 教程（三）：PyFlink DataStream API - state & timer

一、背景Flink1.13已于近期正式发布，超过200名贡献者参与了Flink1.13的开发，提交了超过1000个commits，完成了若干重要功能。其中，PyFlink模块在该版本中也新增了若干重要功能，比如支持了state、自定义window、row-basedoperation等。随着这些功能的引入，PyFlink功能已经日趋完善，用户可以使用Python语言完成绝大多数类型Flink作业的
·2021-06-18 22:49

PyFlink 教程：PyFlink DataStream API - state & timer

简介：介绍如何在PythonDataStreamAPI中使用state&timer功能。一、背景Flink1.13已于近期正式发布，超过200名贡献者参与了Flink1.13的开发，提交了超过1000个commits，完成了若干重要功能。其中，PyFlink模块在该版本中也新增了若干重要功能，比如支持了state、自定义window、row-basedoperation等。随着这些功能的引入，Py
·2021-06-18 21:54

通过Flink 程序模板来学习StreamExecutionEnvironment 、DataStream 、StreamTransformation类

一、回到起点一切都从最初的起点开始，我们来看官网给出的FlinkJob程序的框架：publicclassStreamingJob{publicstaticvoidmain(String[]args)throwsException{//setupthestreamingexecutionenvironmentfinalStreamExecutionEnvironmentenv=StreamExecu
卧雪听月·2021-06-13 23:04

Apache Flink 学习笔记（一）

Flink则不同，批处理用DataSet，流处理用DataStream，而
憨人Zoe·2021-06-12 00:34

Flink支持哪些数据类型?

一、支持的数据类型Flink对可以在DataSet或DataStream中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。
·2021-06-09 16:30

Flink实战(五) - DataStream API编程

1概述Flink中的DataStream程序是实现数据流转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。最初从各种源（例如，消息队列，套接字流，文件）创建数据流。
JavaEdge·2021-06-08 03:47

Flink DataStream API详解

FlinkAPI介绍Flink提供了三层API，每层在简洁性和表达性之间进行了不同的权衡。flink-apiProcessFunction是Flink提供的最具表现力的功能接口，它提供了对时间和状态的细粒度控制，能够任意修改状态。所以ProcessFunction能够为许多有事件驱动的应用程序实现复杂的事件处理逻辑。DataStreamAPI为许多通用的流处理操作提供原语，比如window。Dat
零度沸腾_yjz·2021-05-17 03:30

Apache Flink 学习笔记（二）

流处理也叫无界处理，因为数据是源源不断的被加载进来的，流处理需要用到DataStream类。本篇demo将结合kafka（公司有现成的消息生产者）来演示。
憨人Zoe·2021-05-16 16:52

一文抽丝剥茧带你掌握复杂Gremlin查询的调试方法

每个Gremlin遍历由一系列步骤（可以存在嵌套）组成，每一步都在数据流（datastream）上执
华为云·2021-05-06 10:16

Operators

原文链接操作符将一个或多个DataStream转换成为新的DataStream。程序可以将多个转换组合成复杂的数据流拓步。
小C菜鸟·2021-05-03 23:32

2021年大数据Flink（三十九）：Table与SQL 总结 Flink-SQL常用算子

SELECTWHEREDISTINCTGROUPBYUNION和UNIONALLJOINGroupWindowTumbleWindowHopWindowSessionWindow总结Flink-SQL常用算子SELECTSELECT用于从DataSet/DataStream
Lansonli·2021-05-02 22:48

Flink DataStream 状态和容错 三：Savepoint 和 Restart

SavepointSavepoint和Checkpoint的区别Savepoint是命令触发的Checkpoint，对流式程序做一次完整的快照并将结果写到Statebackend，可用于停止、恢复或更新Flink程序。整个过程依赖于Checkpoint机制。另一个不同之处是，Savepoint不会自动清除。分配OperatorIDsSavepoint中会以OperatorID作为key保存每个有状
Alex90·2021-04-28 09:58

Flink DataStream API 编程指南

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/datastream_api.htmlFlink中的DataStream
写Bug的张小天·2021-04-26 00:13

聊聊flink的SocketClientSink

/org/apache/flink/streaming/api/datastream/DataStream.java/***WritestheDataStreamtoasocketasabytearra
go4it·2021-04-24 00:05

flink学习笔记-支持的数据类型

大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz4.支持的数据类型Flink对DataSet和DataStream
大数据研习社·2021-04-19 10:54

Flink SQL w/ Blink Planner执行流程解析（上篇）

用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSetAPI的复杂细节，降低了使用门槛。那么，一条FlinkSQL语句是如何转化成可执行的
LittleMagic·2021-04-18 20:24

Flink DataStream 状态和容错 一：状态的使用

有状态函数（Statefulfunction）和算子（Operator）在处理独立的数据或事件时存储数据，使得状态（State）成为任何复杂算子中的关键部分，例如：当应用检索特定的事件模式，State将存储到接收到的事件的序列。当按照分钟/小时/天的唯独聚合事件时，状态将保留待处理的聚合状态。当在流数据上进行机器学习的模型训练时，状态保存模型当前版本的参数。当需要管理历史数据时，状态允许有效地访问
Alex90·2021-04-18 06:56

flink学习笔记-流式迭代运算

大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD14.支持的数据类型Flink对DataSet和DataStream
大数据研习社·2021-04-17 19:27

如何理解 Flink 中的 算子（operator）与链接（chain）？

常见Operators官方支持的数据流转换类型文档MapDataStream->DataStream接受一个元素，然后生成一个元素。
王小奕·2021-04-15 17:21

canal和FlinkCDC的总结

文章目录1.canalcanal的介绍Canal原理流程图2.FlinkCDC2.1什么是CDC2.2CDC的种类2.2.1DataStream的方式(默认序列化器)2.2.2FinkSQL的方式2.2.3DataStream
Null is Null·2021-04-03 16:57

Flink 执行引擎：流批一体的融合之路

内容包括：1、背景2、流批一体的分层架构3、流批一体DataStream4、流批一体DAGScheduler5、流批一体的Shuffle架构6、流批一体的容错策略7、未来展望一、背景随着互联网和移动互联网的不断发展
·2021-03-25 16:07

ProcessFunction以及案例踩坑

ProcessFunction和CoProcessFunction说明DataStream与KeyedStreamd都有Process方法,DataStream接收的是ProcessFunction，而
LZhan·2021-03-11 03:26

Flink中关于Window API 演示以及时间窗口详解

1.Flink中窗口的API分类在Flink流计算中，提供Window窗口API分为两种1）、针对KeyedStream窗口API：window第一步、数据流DataStream调用keyBy函数分组，
LBJ_小松鼠·2021-03-08 20:59

DataStream体系和Transformation体系

#DataStream体系&Transformation体系##DataStream体系###DataStream介绍DataStream是Flink数据流核心抽象，其上定义了数据流的一系列操作，同时也定义了与其他
余双_833c·2021-02-23 20:59

Flink 算子Function实例化的坑

问题回顾关于一段代码：objectMySingleObj{//陷阱：//单例对象中一个是可变引用，一个是可变数组varstr:String=_vallist=newListBuffer[String]}...dataStream.map
小米的蝉·2021-02-23 14:56

大数据实操篇 No.16-记一次完整的Flink流计算案例（DataStream API）

第1章简介本篇文章采用FlinkDataStreamAPI完成一次端到端的完成流计算案例，将数据从Kafka抽取，写入Elasticsearch中，并且用kibana动态的展示出来。（客户端=>WebAPI服务=>Kafka=>Flink=>Elasticsearch=>Kibana）。第2章案例设计先定一个简单的需求（就根据当下的疫情情况来做吧）：统计各地区新冠疫情风险等级。我们假定每个地区确诊
pezynd·2021-02-09 13:20

如何跑通第一个 DataStream 作业？

简介：本文由阿里巴巴技术专家叶佳纯（自知）分享，主要介绍如何在实时计算Flink版中跑通DataStream作业。
阿里云开发者·2021-02-03 16:32

Flink常用的DataSet 和 DataStream API

目前版本1.10依然采用DataSet和DataStream两套API来适配不同的应用场景。2、DataSe
王知无-大数据技术与架构·2021-01-17 19:43

Flink Kafka Connector介绍和使用（DataStream and Table）

前言Flink提供了一个ApacheKafka连接器，我们可以很方便的实现从Kafka主题读取数据和向其写入数据。Flink附带了提供了多个Kafka连接器：universal通用版本，0.10，0.11官方文档解释说universal(通用版本)的连接器，会尝试跟踪Kafka最新版本，兼容0.10或者之后的Kafka版本，官方文档也说对于绝大多数情况使用这个即可。在最新的官方文档上有这个通用版本
俩只猴·2020-12-31 10:48

如何生成 Flink 作业的交互式火焰图？

前言Flink是目前最流行的大数据及流式计算框架之一，用户可以使用Java/Scala/Python的DataStream接口或者标准SQL语言来快速实现一个分布式高可用的流式应用，通过内部的JavaJIT
ApacheFlink·2020-11-13 11:19

Flink之体系--Task Execution--Tasks--Parallelism

finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStreamtext=[...]DataStream
Natasha·2020-11-13 11:53

Flink之DataStream--基于时间和窗口的操作符--ProcessFunction(包含基于电商用户行为分析实战）

ProcessFunctionAPI前面学习的Transformations是无法访问事件的时间戳和水位线信息的，如MapFunction的map转换算子是无法访问时间戳和当前事件的事件时间。基于此，DataStreamAPI提供了一系列的LowLevel转换算子--ProcessFunctionAPI，与高层算子不同，通过这些底层转换算子我们可以访问数据的时间戳，watermark以及注册定时事
Natasha·2020-11-13 11:59

Flink DataStream常见算子

mapDataStream-->DataStream：可以理解为映射，对每个元素进行一定的变换后，映射为另一个元素。
Natasha·2020-10-09 13:14

BT TWS 听音乐无声问题

后来查找datastream的通路，发现加密方式对其有影响，便dump出寄存器看加密方式，确实两只耳机不一样，修改完成，问题就没有了
小积跬步至千里·2020-09-17 11:16

Flink DataStream Window 窗口函数 ReduceFunction、AggregateFunction、ProcessWindowFunction

WindowFunction在窗口触发后，负责对窗口内的元素进行计算。WindowFunction分为两类:增量聚合和全量聚合。增量聚合:窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如:ReduceFunction、AggregateFunction。全量聚合:窗口需要维护全部原始数据，窗口触发进行全量聚合。如:ProcessWindowFunction。本文总结增量聚
wangpei1949·2020-09-17 06:34

Flink数据流类型转换

不同DataStream之间转换从而形成stream图。网上Flink1.4流程转换图有点旧，不过也能说明之间的转换关系。
weixin_42412645·2020-09-17 02:03

ByteArrayStream、DataStream、PipedStream、RandomAccessFile使用

ByteArrayStreampackageiootherstudy;importjava.io.ByteArrayInputStream;importjava.io.ByteArrayOutputStream;importjava.io.DataOutputStream;importjava.io.IOException;publicclassByteArrayStream{/***@param
消毒液0814·2020-09-16 22:46

Flink

ApacheFlink概述Flink是构建在DataStream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。
HuiGe94v587·2020-09-16 12:23

Flink和Kafka

使用DataStream来消费Kafka。
超哥_cn·2020-09-15 23:39
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他