datastream

hadoop错误DataXceiver error processing WRITE_BLOCK operation

错误：DataXceivererrorprocessingWRITE_BLOCKoperation原因：文件操作超租期，实际上就是datastream操作过程中文件被删掉了。
dengdun2029·2020-06-23 03:27

Flink DataStream 算子 Map、FlatMap、Filter、KeyBy、Reduce、Fold、Aggregate

Map[DataStream->DataStream]Map:一对一转换,即一条转换成另一条。
LzwGlory·2020-06-22 10:22

Qt中序列化自定义对象

在自定义类中声明友元函数，并实现：classCKDrawBase:{public:friendQDataStream&operator>(QDataStream&dataStream,CKDrawBase
Wyq_nathan·2020-06-22 08:52

Flink基本API的使用

概述Flink使用DataSet和DataStream代表数据集。DateSet用于批处理，代表数据是有限的，而DataStream用于流数据，代表数据是无界的。
叫我不矜持·2020-06-22 05:41

全面解析IO流一：Java IO流详解

在Java中，把这些不同类型的输入、输出源抽象为流（Stream），其中输入或输出的数据称为数据流（DataStream），用统一的接口来表示。
李树江·2020-06-22 02:27

Flink有状态计算入门示例

主函数：FlinkStatefulCalcTest.javapackagecom.ccclubs.flink;importorg.apache.flink.streaming.api.datastream.DataStream
Mathieu66·2020-06-22 01:07

flink kafka source

{DataStream,StreamExecutionEnvironment}5importorg.apache.flin
天天背单词·2020-06-22 01:00

flink file source

{DataStream,StreamExecutionEnvironment}23objectFlinkDemo04_CommonSource_fromFile{4caseclassFlight(avgTicketPrice
天天背单词·2020-06-22 01:00

flink source fromCollection source

{DataStream,StreamExecutionEnvironment}importorg.apache.flink.api.scala.
天天背单词·2020-06-22 01:00

flink DataStream wc

{DataStream,StreamExecutionEnvironment}23objectFlinkDemo02_Stream_wc{4defmain(args:Array[String]):Unit
天天背单词·2020-06-22 01:00

Flink SQL

表可以用于后续的SQL和表API查询，可以转换为DataSet或DataStream，也可以写入TableSink)。
Fenggms·2020-06-21 20:38

Flink Table Api & SQL 初体验,Blink的使用

无论输入是批处理输入（DataSet）还是流输入（DataStream），在两个接口中指定的查询都具有相同的语义并指定相同的结果。
ipoo·2020-06-20 11:00

Flink教程(二) DataStream聚合 keyBy sum min和minBy区别

DataStream聚合keyBysummin和minBy区别1.keyBy1.1keyBy(0)1.2keyBy("someKey")2.min和minBy区别2.1min2.2minBy1.keyBykeyBy
亚瑟死灵骑士·2020-06-11 18:55

详解 Flink DataStream中min(),minBy(),max(),max()之间的区别

解释官方文档中:ThedifferencebetweenminandminByisthatminreturnstheminimumvalue,whereasminByreturnstheelementthathastheminimumvalueinthisfield(sameformaxandmaxBy).翻译:min和minBy之间的区别是min返回最小值，而minBy返回在此字段中具有最小值的
ipoo·2020-06-10 11:00

Flink DataStream API

1.API基本概念Flink程序可以对分布式集合进行转换（例如：filtering,mapping,updatingstate,joining,grouping,definingwindows,aggregating）集合最初是从源创建的（例如，从文件、kafka主题或本地内存集合中读取）结果通过sink返回，例如，可以将数据写入(分布式)文件，或者写入标准输出(例如，命令行终端)根据数据源的类型
废物大师兄·2020-06-09 19:00

flink DataStream BroadcastStream广播流scala使用示例

1.scala代码示例importcom.streamingkmeans.utils.EuclideanDistanceMeasureimportorg.apache.flink.api.common.state.{BroadcastState,ListState,ListStateDescriptor,MapStateDescriptor,ReadOnlyBroadcastState}impor
ch123·2020-05-30 05:14

flink DataStream iterate迭代流scala代码示例

{DataStream,StreamExecutionEnvironment}importorg.apache.flink.api.scala._importorg.apache.flink
ch123·2020-05-28 00:47

flink 多窗口分析

eventtimewindow进行聚合的想法,于是开始了以下的源码分析.背景flink的窗口函数,是在流的基础上,在一段时间内进行聚合,对于eventtime而言,你需要设置一个watermark进行提取,最简单的形式如下:datastream.assignTimestampsAndWatermarks
JhonSmith·2020-05-27 23:07

flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）

importorg.apache.flink.streaming.experimental.DataStreamUtilsimportscala.collection.JavaConverters.asScalaIteratorConvertervalmyResult:DataStream
ch123·2020-05-27 23:58

关于flink的简单总结

filter,map1.2.windows时间窗口1.3.合并流union把多个数据类型相同的合并join多条数据合成一条connect类型不同的流连起来，这条流就有了多种类型1.4拆分流split2.1.DataStream
小王ovo·2020-05-21 14:18

Flink SQL系列：Table API使用

还有一种是经过阿里优化过的一种APi，叫做Blink，两种API对于Batch和Stream有一些区别1：Blink对于“批”表会当做“流”表处理，所以“批”表和Dataset之间是不可以转换的，而DataSet回当做DataStream
小满锅lock·2020-04-23 21:36

ExceptionInChainedOperatorException：flink写hbase对于null数据导致数据导致出现异常

转换核心代码：valstream:DataStream[Input]=source.filter(s=>(!s.equals(null))&&
利伊奥克儿·2020-04-22 15:03

Chapter 2 Data Processing Using the DataStream API Event time and watermarks

EventtimeandwatermarksFlinkStreamingAPItakesinspirationfromGoogleDataFlowmodel.ItsupportsdifferentconceptsoftimeforitsstreamingAPI.Ingeneral,therethreeplaceswherewecancapturetimeinastreamingenvironmen
zh_harry·2020-04-13 16:49

聊聊flink DataStream的connect操作

序本文主要研究一下flinkDataStream的connect操作DataStream.connectflink-streaming-java_2.11-1.7.0-sources.jar!
go4it·2020-04-12 22:54

Flink 操作示例 —— 计算函数

aggregate用于按字段或者按位置（元组）对流聚合/分组privatedefaggregate(aggregationType:AggregationType,field:String):DataStream
Lemo_wd·2020-04-06 09:00

Flink Table & SQL 维表Join

基于之前的总结，再次汇总总结下FlinkTable&SQL中维表Join的实现方式，包括DataStream中的维表Join。
wangpei1949·2020-04-05 22:07

flink的广播变量，累加器，计数器以及分布式缓存

1、广播变量广播变量主要分为两种方式：dataStream当中的广播变量以及dataSet当中的广播变量，这两个地方的广播变量还有一定的不一样的各自的特性，一句话解释，可以理解为是一个公共的共享变量，我们可以把一个
我还不够强·2020-04-05 12:56

【零基础学flink】flink DataStream API 详解

Flink中的DataStream主要用于实现数据流的转换操作（例如，过滤，更新状态，定义窗口，聚合）。最初可以从各种源（例如，消息队列，套接字流，文件）创建数据流（DataStream）。
大菜鸟_·2020-04-01 13:57

06_02_Flink DataStream多流合并算子

在关系型数据库中，最常见的多表关联有笛卡尔积连接，leftouterjoin,rghtouterjoin,fulljoin,innerjoin。在Flink中，支持多流关联的有3中算子，如下：CogroupobjectTestCoGroup{defmain(args:Array[String]):Unit={valenv:StreamExecutionEnvironment=StreamExecu
CoderLean·2020-03-27 11:42

聊聊flink DataStream的iterate操作

序本文主要研究一下flinkDataStream的iterate操作实例IterativeStreamiteration=initialStream.iterate();DataStreamiterationBody=iteration.map(/*dosomething*/);DataStreamfeedback=iterationBody.filter(newFilterFunction(){
go4it·2020-03-26 10:17

理解Flink watermark

Flink水印的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳
寇寇寇先森·2020-03-25 04:33

聊聊flink DataStream的window coGroup操作

序本文主要研究一下flinkDataStream的windowcoGroup操作实例dataStream.coGroup(otherStream).where(0).equalTo(1).window(
go4it·2020-03-24 19:36

Flink Table/SQL API

这套API中最重要的概念是Table(可以在上面进行关系型操作的结构化的DataSet或DataStream)。
丹之·2020-03-24 14:38

使用Ogre读取文件

使用该类可以读取指定目录中的指定文件，并且返回该文件的数据流DataStream，之后就可以使用数据流来获取文件中的内容。
lyhkop·2020-03-17 02:49

Flink的Side Output(侧输出)

除了从DataStream操作的结果中获取主数据流之外，你还可以产生任意数量额外的侧输出结果流。侧输出结果流的数据类型不需要与主数据流的类型一致，不同侧输出流的类型也可以不同。
写Bug的张小天·2020-03-14 20:31

Apache Flink源码解析 （五）DataStream API

概述这篇文章是但不仅仅是官方文档的中文翻译，还有里面每一个方法对应的Transformation和运行时对Task的影响。Prerequisites关于算子想说的有很多，都在上一篇文章里，在这篇文章中，把算子理解为包含了一个函数（Flink实现的或自己实现的，比如MapFunction，FilterFunction）的持续获得输入并且将结果输出出去的任务就好。图中的Task表示一个节点，或者说是一
铛铛铛clark·2020-03-06 04:32

Flink 1.10 流式处理（Data Streaming Api） 官网翻译

Flink中的DataStream程序是实现数据流转换的常规程序(例如，过滤、更新状态、定义窗口、聚合)。数据流最初是从各种来源(例如，消息队列、套接字流、文件)创建的。
海南中剑·2020-03-05 12:16

Apache Flink DataStream 编程全集

概述Flink是构建在数据流之上的有状态计算的流计算框架，通常被人们理解为是第三代大数据分析方案。第一代-Hadoop的MapReduce计算（静态）、Storm流计算（2014.9）；两套独立计算引擎，使用难度大第二代-SparkRDD静态批处理(2014.2)、DStream|StructuredStreaming流计算;统一计算引擎，难度系数小第三代-FlinkDataStream(2014
麦田里的守望者··2020-03-04 17:20

Apache Flink基本编程模型

根据数据源的类型，即为有界数据与无界数据，提供了DataSet与DataStream的基础API。image根据数据源的类型，即为有界数据与无界数据。
CainGao·2020-03-04 04:33

聊聊flink DataStream的join操作

序本文主要研究一下flinkDataStream的join操作实例stream.join(otherStream).where().equalTo().window().apply()这里首先调用join，与另外一个stream合并，返回的是JoinedStreams，之后就可以调用JoinedStreams的where操作来构建Where对象构造条件；Where有equalTo操作可以构造Equ
go4it·2020-02-21 18:00

Flink DataStream Side Output

SideOutput功能从Flink1.3.0版本开始提供，FLINK-4460除了从DataStream操作的结果中获取主数据流之外，还可以产生任意数量额外的旁路输出（sideoutput）结果流。
Alex90·2020-02-21 05:27

Chapter 2 Data Processing Using the DataStream API

Real-timeanalyticsiscurrentlyanimportantissue.Manydifferentdomainsneedtoprocessdatainrealtime.Sofartherehavebeenmultipletechnologiestryingtoprovidethiscapability.TechnologiessuchasStormandSparkhavebee
zh_harry·2020-02-17 01:02

Flink Operators

ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/operators/Operator作用流的转换map将一个元素转换成另外一个元素DataStream
七海的游风·2020-02-11 05:23

Flink Table API 和 SQL

无论输入是批输入（DataSet）还是流输入（DataStream），任一接口中指定的查询都
Alex90·2020-02-09 22:24

Gremlin入门

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin语言包括三个基本的操作：map-step：对数据流中的对象进行转换；f
王小冬·2019-12-24 20:41

根据Interceptor 分析 OkHttp（一）

Requests还可能包含一个body：一个指定contenttype的datastream。ResponsesRespo
TOP_WANG·2019-12-16 00:43

三、flink--DataStreamAPI原理以及用法

一、DataStream基本概述1.1datastream是什么？datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。
隔壁小白·2019-12-09 17:26

Flink WorkCount代码

{DataStream,Stre
JoshWill·2019-12-03 21:00

【Flink】Flink对于迟到数据的处理

设置允许延迟的时间是通过allowedLateness(lateness:Time)设置保存延迟数据则是通过sideOutputLateData(outputTag:OutputTag[T])保存获取延迟数据是通过DataStream.getSideOutput
13157330443·2019-11-27 22:40

Flink DataStream Window 剔除器 Evictor

Evictor可在WindowFunction执行前或后，从原Window中剔除元素。本文总结FlinkDataStreamWindow内置的三种剔除器:CountEvictor、DeltaEvictor、TimeEvictor的剔除原理及使用。CountEvictor:数量剔除器。在Window中保留指定数量的元素，并从窗口头部开始丢弃其余元素。DeltaEvictor:阈值剔除器。计算Wind
wangpei1949·2019-11-10 12:52
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他