datastream

【03】Flink 之 DataStream API（一）：Data Source 和 自定义Source

1、DataSource1.1、DataSource介绍source是程序的数据源输入，可以通过StreamExecutionEnvironment.addSource(sourceFunction)来为程序添加一个source。flink提供了大量的已经实现好的source方法，也可以自定义source通过实现sourceFunction接口来自定义无并行度的source，或者你也可以通过实现P
大小宝·2019-05-13 23:42

Flink Operator之CoGroup、Join以及Connect

在Flink中由很多Operator，大致分为两类，DataStream和DataSet（还有高层的Table&SQLAPI），即流处理数据和批处理数据，这篇文章主要讲解CoGroup、Join和Connect
不清不慎·2019-05-13 16:39

【06】Flink 之 DataStream API（四）：Data Sink 和 自定义Sink

1、DataStreamAPI（四）：DataSink1.1、DataSink介绍sink是程序的数据输出，可以通过StreamExecutionEnvironment.addSink(sinkFunction)来为程序添加一个sink。flink提供了大量的已经实现好的sink方法，也可以自定义sink1.2、DataSink类型writeAsText()：将元素以字符串形式逐行写入，这些字符串
大小宝·2019-05-12 23:13

【零基础学flink】flink DataStream API 详解

Flink中的DataStream主要用于实现数据流的转换操作（例如，过滤，更新状态，定义窗口，聚合）。最初可以从各种源（例如，消息队列，套接字流，文件）创建数据流（DataStream）。
古老的屋檐下·2019-04-29 00:00

Flink编程模型

核心API层，DataSet处理有界的数据集，DataStream处理有界或者无界的数据流。它提供了数
雾幻·2019-04-24 20:40

LocalFlinkMiniCluster启动DataStream任务的流程

LocalFlinkMiniCluster集群的actor模型相关的主要类图如下：image-20190415180352502.pngAkkaRpcActor持有一个rpcEndpoint成员，接收到消息后进行基础解析后调用rpcEndpoint的的对应方法来进行处理。其中RpcGateway及RpcEndPoint的类图image-20190415175424225.png支持的消息类型其中主
wpb·2019-04-24 19:17

Maven 创建Flink 项目，演示DataStream API

设置Maven项目编写Flink程序练习：在群集上运行并写入Kafka在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分钟内实现，但它将为您提供一个良好的基础，从而开始自己构建更复杂的分析程
远涉江湖·2019-04-16 15:55

Flink学习笔记:Operators串烧

，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.DataStreamTransformation1.1DataStream
大数据研习社·2019-04-15 17:00

Flink学习笔记：Time的故事

Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.Time三兄弟1.1DataStream
大数据研习社·2019-04-12 17:00

Flink Streaming (DataStream API) Operators (flink 1.7 文档)

ApplicationDevelopment/Streaming(DataStreamAPI)/OperatorsOperators算子将一个或多个DataStreams转换为新的DataStream。
YoreYuan·2019-04-04 13:14

Flink DataStream API

实时分析是当前一个比较热门的数据处理技术，因为许多不同领域的数据都需要进行实时处理、计算。到目前为止，有很多技术提供实时的解决方案，包括Storm、SparkStreaming等。这些需求源自于物联网的应用程序需要存储、处理和实时或近实时分析，为了满足这种需求，Flink提供了数据流处理API即DataStreamAPI。在总结DataStreamAPI之前，我们先简单的了解一下Flink程序的基
夏天小厨·2019-03-21 17:12

Flink学习笔记Operators串烧

想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl9 DataStreamTransformation1.1DataStream
大数据研习社·2019-03-20 00:00

Flink 原理与实现：Table & SQL API

原文链接：http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink已经拥有了强大的DataStream/DataSetAPI
Lynn_Yuan·2019-03-12 09:10

Apache Flink 官方文档--流(DataStream API)-旁路输出

旁路输出(sideoutput)  除了来自数据流算子的主流结果输出之外，可以产生任意数量的流旁路输出结果。旁路输出结果数据类型与主流结果的数据类型以及其他旁路输出结果数据类型可以是完全不同的。当你需要分割数据流时，这个算子非常有用。通常需要复制流，然后从每个数据流中过滤掉不需要的数据。  当使用旁路输出时，首先需要定义一个OutputTag来标识一个旁路输出流。Java//thisneedsto
Lynn_Yuan·2019-03-03 22:50

Flink DataStream转换（翻译官方文档）

最近准备用flink对之前项目进行重构，这是一个有挑战（但我很喜欢）的工作。几个月过去了，flink社区比起我做技术调研那阵发生了很多变化（包括blink的版本回推），我这边的版本也由1.4->1.7.2。现在网上有很多大方向的解析（阿里的几次直播），也有大神对框架的深入解析。我准备实际使用中mark一些关键的知识点/api。以下就是我翻译的flink流计算DataStreamTransforma
jyj019·2019-03-02 08:56

Flink 原理与实现：Table & SQL API

1.前言Flink已经拥有了强大的DataStream/DataSetAPI，可以基本满足流计算和批计算中的所有需求。为什么还需要Table&SQLAPI呢？
李京京·2019-02-27 14:00

DataStream API 之 sink（八）

writeAsText(流式处理很少用写成文件)将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取print()/printToErr():打印每个元素的toString()方法的值到标准输出或者标准错误输出流中自定义输出addSink【kafka、redis】org.apache.bahirflink-connector-redis_2.111.0样例代码:/
Cincinnati_De·2019-02-19 17:51

DataStream API 之 sink（八）

writeAsText(流式处理很少用写成文件)将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取print()/printToErr():打印每个元素的toString()方法的值到标准输出或者标准错误输出流中自定义输出addSink【kafka、redis】org.apache.bahirflink-connector-redis_2.111.0样例代码:/
Cincinnati_De·2019-02-19 17:51

DataStream API 之 partition（七）

Randompartitioning:随机分区dataStream.shuffle()底层调用random.nextInt方法进行随机分区publicShufflePartitioner(){}publicint
Cincinnati_De·2019-02-19 16:03

Flink DataStream常用算子

Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。
鸣宇淳·2019-02-14 11:03

Flink DataSteam操作

DataStream数据转换（DataStreamTransformations）TransformationDescriptionMapDataStream→DataStream取一个元素并生成一个元素
尼小摩·2019-02-13 18:46

聊聊flink的Execution Plan Visualization

TestpublicvoidtestExecutionPlan(){finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream
codecraft·2019-02-13 00:00

聊聊flink的Parallel Execution

OperatorLevelfinalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStreamtext=[...]DataStream
go4it·2019-02-12 10:24

聊聊flink的Parallel Execution

OperatorLevelfinalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStreamtext=[...]DataStream
codecraft·2019-02-12 00:00

聊聊flink Table的Time Attributes

序本文主要研究一下flinkTable的TimeAttributesProcessingtime通过fromDataStream定义DataStream>stream=...
codecraft·2019-02-01 00:00

Gremlin入门

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin语言包括三个基本的操作：map-step：对数据流中的对象进行转换；f
scuwangjun·2019-01-29 11:00

Gremlin入门

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin语言包括三个基本的操作：map-step：对数据流中的对象进行转换；f
scu酱油仔·2019-01-29 00:00

Apache Flink：Table API和SQL发展现状概述

Tables在发布之初就支持静态的以及流式数据(也就是提供了DataSet和DataStream相关APIs)。我们可以将DataSet或
JavaGod·2019-01-28 00:00

Flink DataStream API 编程指南

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/datastream_api.htmlFlink中的DataStream
Resemble_·2019-01-21 16:12

Flink基础教程-----学习笔记

开发人员需要基于一个叫DataStream
loredp·2019-01-20 11:40

Flink DataStream使用EventTime和Watermarks解决乱序数据

场景分析流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络延迟等原因，导致乱序的产生，特别是使用kafka的话，多个分区的数据无法保证有序。所以在进行window计算的时候，我们又不能无限期的等下去，必须要有个机制来保证一个特定的时间后，必须触发window去进行计算
Jiny_li·2019-01-16 23:11

Flink DataStream API 之 Time

基本介绍针对stream数据中的时间，可以分为以下三种•EventTime：事件产生的时间，它通常由事件中的时间戳描述。•Ingestiontime：事件进入Flink的时间•ProcessingTime：事件被处理时当前系统的时间设置Time类型Flink中，默认Time类似是ProcessingTime，可以在代码中设置finalStreamExecutionEnvironmentenv=St
Jiny_li·2019-01-16 23:03

Flink DataStream API 之 windows聚合分类

基本介绍增量聚合•窗口中每进入一条数据，就进行一次计算•reduce(reduceFunction)•aggregate(aggregateFunction)•sum(),min(),max()全量聚合•等属于窗口的数据到齐，才开始进行聚合计算【可以实现对窗口内的数据进行排序等需求】•apply(windowFunction)•process(processWindowFunction)proce
Jiny_li·2019-01-16 23:10

Flink DataStream API 之 windows类型介绍

Window的类型窗口通常被区分为不同的类型:•tumblingwindows：滚动窗口【没有重叠】•slidingwindows：滑动窗口【有重叠】tumblingwindows：滚动窗口【没有重叠】使用demoDataStreaminput=...;//tumblingevent-timewindowsinput.keyBy().window(TumblingEventTimeWindows.
Jiny_li·2019-01-16 23:25

聊聊flink DataStream的iterate操作

序本文主要研究一下flinkDataStream的iterate操作实例IterativeStreamiteration=initialStream.iterate();DataStreamiterationBody=iteration.map(/*dosomething*/);DataStreamfeedback=iterationBody.filter(newFilterFunction(){
codecraft·2019-01-15 00:00

flink实战--DataSteam API终极总结

DataStream简介     DataStream是flink实时流处理的基本数据模型，DataSet是flink批处理的数据模型。
阿华田512·2019-01-15 00:00

聊聊flink DataStream的split操作

序本文主要研究一下flinkDataStream的split操作实例SplitStreamsplit=someDataStream.split(newOutputSelector(){@OverridepublicIterableselect(Integervalue){Listoutput=newArrayList();if(value%2==0){output.add("even");}els
codecraft·2019-01-14 00:00

聊聊flink DataStream的connect操作

序本文主要研究一下flinkDataStream的connect操作DataStream.connectflink-streaming-java_2.11-1.7.0-sources.jar!
codecraft·2019-01-13 00:00

聊聊flink DataStream的window coGroup操作

序本文主要研究一下flinkDataStream的windowcoGroup操作实例dataStream.coGroup(otherStream).where(0).equalTo(1).window(
codecraft·2019-01-12 00:00

Flink DataStream API之Data Sink

基本介绍writeAsText()：将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取print()/printToErr()：打印每个元素的toString()方法的值到标准输出或者标准错误输出流中自定义输出addSink【kafka、redis】Sink容错性保证Sink语义保证备注hdfsexactlyonceelasticsearchatleastonc
Jiny_li·2019-01-10 13:25

Flink DataStream API之partition

Randompartitioning：随机分区dataStream.shuffle()Rebalancing：对数据集进行再平衡，重分区，消除数据倾斜dataStream.rebalance()从源码中关键代码
Jiny_li·2019-01-10 13:56

聊聊flink DataStream的join操作

序本文主要研究一下flinkDataStream的join操作实例stream.join(otherStream).where().equalTo().window().apply()这里首先调用join，与另外一个stream合并，返回的是JoinedStreams，之后就可以调用JoinedStreams的where操作来构建Where对象构造条件；Where有equalTo操作可以构造Equ
codecraft·2019-01-10 00:00

聊聊flink的Allowed Lateness

/org/apache/flink/streaming/api/datastream/WindowedStream.java@PublicpublicclassWindowedStream{/**Thekeyeddatast
codecraft·2019-01-08 00:00

flink扫盲-DataStream中数据源API实验

文章目录直接输入形式fromElementsfromCollectionSocket形式文件形式自定义形式下面针对DataStream中数据流向API的数据源进行实验直接输入形式fromElementsstep1
legotime·2019-01-06 22:45

flink扫盲-DataStream中数据流向API理解

文章目录基本信息数据源x从何而来?直接输入形式Socket形式文件形式自定义的方式处理规则f(x)有哪些?(transformations)数据y可以存放何处(Datasinks)实验环境附录pom.xml文件搭建环境然后运行完helloworld实验之后，接下来我们就要聊聊flink的数据处理了。对于数据处理，我们可以从人人都熟悉的函数关系式y=f(x)开始聊起。单从函数关系式来讲：函数概念含有
legotime·2019-01-05 23:40

Apache Flink 数据流编程模型

它使得用户可以自由处理来源于一个或者多个流的事件DataStream/DataSetAPI:在我们的实际工作中，大多数的应用程
FlinkMe·2019-01-05 12:00

聊聊flink的window操作

/org/apache/flink/streaming/api/datastream/DataStream.javapublicAllWindowedStreamtimeWindowAll(Timesize
codecraft·2019-01-01 00:00

Apache Flink源码解析 DataStream API

https://www.jianshu.com/p/a3f43f861a42?utm_source=oschina-app概述这篇文章是但不仅仅是官方文档的中文翻译，还有里面每一个方法对应的Transformation和运行时对Task的影响。Prerequisites关于算子想说的有很多，都在上一篇文章里，在这篇文章中，把算子理解为包含了一个函数（Flink实现的或自己实现的，比如MapFunc
tianjinsong·2018-12-29 10:09

聊聊flink KeyedStream的KeySelector

/org/apache/flink/streaming/api/datastream/KeyedStream.java@PublicpublicclassKeyedStreamextendsDataStream
go4it·2018-12-28 10:45

聊聊flink KeyedStream的KeySelector

/org/apache/flink/streaming/api/datastream/KeyedStream.java@PublicpublicclassKeyedStreamextendsDataStream
codecraft·2018-12-28 00:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他