datastream

Flink 基本的API概念

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/api_concepts.html#dataset-and-datastream
写Bug的张小天·2019-11-08 19:28

从屌丝到架构师的飞越（IO流篇）-流

一.介绍数据流（datastream）最初是通信领域使用的概念，代表传输中所使用的信息的数字编码信号序列。然而，我们所提到的数据流概念与此不同。
走着别浪·2019-11-06 14:08

Flink DataStream API

DataSources源是程序读取输入数据的位置。可以使用StreamExecutionEnvironment.addSource(sourceFunction)将源添加到程序。Flink有许多预先实现的源函数，也可以通过实现SourceFunction方法自定义非并行源，或通过实现ParallelSourceFunction或扩展RichParallelSourceFunction自定义并行源。
Alex90·2019-11-06 08:15

Flink DataStream EventTime下Watermark生成与Window触发

本文总结FlinkDataStreamEventTime下Watermark的生成与Window计算的触发时机,旨在弄清楚以下问题:窗口起止时间对MaxOutOfOrderness或AllowedLateness的理解窗口计算第一次触发的时机窗口计算再次触发的时机窗口销毁的时机并行流中多并行度下Watermark的生成与窗口触发的时机Kafka并行流中窗口不触发代码实现packagecom.big
wangpei1949·2019-11-03 16:40

flink tableSource tableSink 基础知识

TableSource源码traitTableSource[T]{//TableSource是一个接口总共有三个方法defgetReturnType:TypeInformation[T]//获取返回的DataStream
loukey_j·2019-10-27 16:46

Flink系列一：DataStream API 教程

本教程主要来自flink1.9教程设置Maven项目编写Flink程序在集群上运行并写入kafka在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分钟内实现，但它将为您提供一个良好的基础，从
yiweiyi329·2019-10-22 23:05

Flink的状态管理

State和FaultTolerance（重点）有状态操作或者操作算子在处理DataStream的元素或者事件的时候需要存储计算状态，这就使得状态在整个Flink的精细化计算中扮演着非常重要的地位：记录数据某一个过去时间段到当前时间期间数据状态信息
fql123455·2019-10-16 11:11

Flink的DataStream API

参考：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/datastream_api.htmlDataSourcesSources
fql123455·2019-10-15 11:01

30.DataStream API之Operators(Async IO)

原文链接：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/asyncio.htmlflink1.9本页阐述了使用Flink的API来进行外部数据存储的异步I/O，对于不熟悉异步或者事件驱动编程的用户，学习一篇关于Future和事件驱动编程可能会很有用。注意:关于异步I/O的详细设计和实
li2327234939·2019-10-12 11:02

Java基础day21笔记：对象的序列化|管道流|RandomAccessFile|操作基本数据类型的流对象DataStream|ByteArrayStream|转换流的字符编码

01-IO流(对象的序列化)接下来继续介绍IO包中的其他常用对象，常用频率不是特别特别高，但是也会用到。它们叫ObjectInputStream和ObjectOutputStream，当我们看到后缀名就知道它们是字节流，看到前缀名就知道它的功能是什么了。它们是可以直接操作对象的字节流。那么它存在的意义是什么呢？我们知道，对象本身存在堆内存中。可是当程序用完之后，堆内存就被释放了，这个对象就不存在了
楠楠喜欢泡枸杞·2019-10-02 17:06

Flink DataStream 算子 Map、FlatMap、Filter、KeyBy、Reduce、Fold、Aggregate

Map[DataStream->DataStream]Map:一对一转换,即一条转换成另一条。
wangpei1949·2019-09-28 17:12

3、编程模型以及核心概念

核心概念官网链接DataSetandDataStreamFlink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。
-无妄-·2019-09-19 20:35

Flutter的响应式编程

我们先看看维基百科上的定义：这里面有很多的名词，像declarativeprogrammingparadigm(声明式编程范式)，imperativeprogrammingparadigm(指令式编程范式)，datastream
clcwcxfwf·2019-09-05 21:26

Apache Flink 零基础入门（三）：DataStream API 编程

作者：崔星灿整理：高赟前面已经为大家介绍了Flink的基本概念以及安装部署的过程，从而希望能够帮助读者建立起对Flink的初步印象。本次课程开始，我们将进入第二部分，即Flink实际开发的相关内容。本次课程将首先介绍Flink开发中比较核心的DataStreamAPI。我们首先将回顾分布式流处理的一些基本概念，这些概念对于理解实际的DataStreamAPI有非常大的作用。然后，我们将详细介绍Da
ApacheFlink·2019-09-05 00:00

03-flink编程模型

支持批计算的接口DataSetAPI支持流计算的接口DataStreamAPI同时flink将数据处理接口抽象成四层，由上往下分别为SQLAPI主要是学习成本低，能够快速上手TableAPI将内存中的DataStream
蜗牛写java·2019-08-31 17:04

Flink学习笔记

1.5业界流处理框架对比：1.6使用案列：1.7发展趋势：1.8如何高效学习Flink：第二章：快速上手开发第一个Flink程序第三章：编程模型核心及其概念3.1Flink编程模型：3.2DataSet/DataStream
qq_32641659·2019-08-27 23:55

数据流挖掘机器学习算法——Hoeffding Tree

数据流挖掘机器学习算法——HoeffdingTreeHoeffdingTree是为解决数据流分类问题所提出的数据流概念：数据流（datastream）是一组有序，有起点和终点的字节的数据序列。
七又八·2019-08-26 16:54

02-flink基本架构

将DataStream和DataSet转成统一的可以执行的
蜗牛写java·2019-08-25 21:13

flink DataStream returns 设置返回类型

flinkmap返回Tuple3时,如果不指定returns则会报错StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironmenttEnv=TableEnvironment.getTableEnvironment(env);Propertieskafk
November_28·2019-08-22 17:51

Spark中关于粗粒度细粒度

一、粗粒度1.工作原理：（1）SparkStreaming接收到实时数据流（datastream）（2）SparkStreaming把数据按照指定的时间段切成一片片小的数据块（小批次）（3）然后SparkStreaming
花喵·2019-08-20 20:00

Flink数据流编程模型

最底层的抽象是状态流（statefulstreaming），它通过处理函数（ProcessFunction）嵌入到数据流API（DataStream
冰上浮云·2019-08-18 23:32

Flink DataStream基于Broadcast State动态更新配置以实现实时过滤数据并增加字段

Flink从1.5.0开始支持广播状态(BroadcastState)。广播状态可以用来解决如下问题:一条流需要根据规则或配置处理数据，而规则或配置又是随时变化的。此时，就可将规则或配置作为广播流广播出去，并以BroadcastState的形式存储在下游Task中。下游Task根据BroadcastState中的规则或配置来处理常规流中的数据。场景举例:动态更新计算规则:如事件流需要根据最新的规则
wangpei1949·2019-08-17 22:32

Flink实践四：Flink的DataStream学习笔记

Flink的DataStream学习笔记..1Flink基础..3Flink特性..3Flink和Spark对比..3设计思路..3状态管理..3Flink初探..4设计架构..4Flinkonyarn
有腹肌的小蝌蚪_·2019-08-15 17:21

Flink之DataStream Source、DataSet Source

DataStreamAPI是用于进行Stream流计算开发的API//DataStreamenv入口//流处理，最后是需要execute执行valenv=StreamExecutionEnvironment.getExecutionEnvironmentDataSetAPI是用于进行Batch计算开发的API//DataSetenv入口//批式处理最后没有executevalenv2=Execut
11号车厢·2019-08-14 06:00

Apache Flink 流处理（快速入门）

FlinkStreaming概述DataStream在Flink中实现了对数据流的Transformation，内部Flink的数据源可以通过各种数据源创建，例如：消息队列、socketstreams、
麦田里的守望者··2019-07-27 00:00

Flink DataStream API - Sink 结果输出

DataStreamAPI-Sink打印至控制台打印至文本文件打印至csv文件打印至scoket通过连接器打印到Kafka打印至控制台//获取运行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();//获取数据源DataStreamtext=env.socketTextStream
李思净·2019-07-26 14:08

Flink Keyby(Java-bean)类型

最近在改业务代码，以前都图省事了全部用tuple，代码经常出现DataStream,Integer>>，发现后期很难维护，时间久了，也不一目了解每个string代表什么意思。
小白鸽·2019-07-24 10:44

使用flink Table &Sql api来构建批量和流式应用(3)Flink Sql 使用

从flink的官方文档，我们知道flink的编程模型分为四层，sql层是最高层的api，Tableapi是中间层，DataStream/DataSetApi是核心，statefulStreamingprocess
一天不进步，就是退步·2019-07-19 17:00

使用flink Table &Sql api来构建批量和流式应用(2)Table API概述

从flink的官方文档，我们知道flink的编程模型分为四层，sql层是最高层的api，Tableapi是中间层，DataStream/DataSetApi是核心，statefulStreamingprocess
一天不进步，就是退步·2019-07-17 15:00

使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念

从flink的官方文档，我们知道flink的编程模型分为四层，sql层是最高层的api，Tableapi是中间层，DataStream/DataSetApi是核心，statefulStreamingprocess
一天不进步，就是退步·2019-07-15 11:00

Flink整合Kafka报错：Marking the coordinator hadoop000:9092(id: 2147483647 rack: null) dead

{DataStream,StreamExecuti
温文尔雅的流氓·2019-07-09 18:16

Flink DataStream转换操作大集合

FlinkDataStream转换操作1.Single-DataStream操作1.Map[DataStream->DataStream]调用用户定义的MapFunction对DataStream[T]
jiangfullll·2019-07-07 11:08

Flink DataStream Manager(托管) Operator State的简单使用

FlinkDataStreamManager(托管)OperatorState的简单使用要使用Manager(托管)OperatorState，需要实现CheckpointedFunction接口或者ListCheckpointed接口。一、CheckpointFunctionCheckpointedFunction接口提供具有不同重新分发Non-KeyedState的访问状态。他需要实现2个方法
张行之·2019-07-02 15:02

Flink DataStream Manager(托管) Keyed State的简单使用

FlinkDataStreamManager(托管)KeyedState的简单使用Manager（托管）KeyedState接口提供对不同类型状态的访问，这些状态都限定为当前输入元素的键。这意味着这种类型的状态只能用于一个KeyedStream，可以通过创建stream.keyBy(…)返回KeyedStream对象。这个可用的State有：ValueState：保存一个状态值，可以通过updat
张行之·2019-07-02 15:48

Flink DataStream State(状态)

FlinkDataStreamState(状态)一、State（状态）的种类State有2类：KeyedState和OperatorState。KeyedState：与keys相关的状态，仅仅用于KeyedStream的Operator(算子)的Function。OperatorState:Non-KeyedState，每个operatorstate都绑定到一个并行度算子实例。当并行度更改时，运算
张行之·2019-07-01 17:08

Flink DataStream State Backend（状态后端）

FlinkDataStreamStateBackend（状态后端）StateBackend（状态后端）用DataStreamApi编写的程序经常是需要保存状态的，如下面情况：Windows中聚集的元素直到被触发计算。在触发之前，需要保存Windows中的元素的状态。转换（Transformation）函数可以使用Key/Value状态接口存储状态值转换（Transformation）函数可以实现C
张行之·2019-07-01 17:32

Flink DataStream Evictors（驱逐器）

FlinkDataStreamEvictors（驱逐器）Flink窗口模式允许特别的算子Evictor（驱逐器），应用在WindowAssigner和trigger之间。通过evictor()方法使用。Evictor驱逐器能够在element进入Window窗口聚合之前进行移除数据或者在进入Window窗口聚合后，Trigger触发计算操作之前移除数据。Evictor的2个方法：evictBefo
张行之·2019-06-28 16:15

Flink双流算子

publicConnectedStreamsconnect(DataStreamdataStream)publicBroadcastConnectedStreamconnect(BroadcastStreambroadcastStream)前者是与普通DataStream
Bravo_z·2019-06-28 13:18

flink DataStream API使用及原理

传统的大数据处理方式一般是批处理式的，也就是说，今天所收集的数据，我们明天再把今天收集到的数据算出来，以供大家使用，但是在很多情况下，数据的时效性对于业务的成败是非常关键的。Spark和Flink都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。Spark的生态总体更完善一些，在机器学习的集成和易用
一天不进步，就是退步·2019-06-26 09:00

【Flink】flink cep对于复杂事件的处理

flinkcep的代码流程先定义PatternPattern.begin[X]("start").where(...).next("middle").where(...)通过CEP.pattern()方法将DataStream
hlp4207·2019-06-22 13:55

Flink DataStream 编程入门

流处理是Flink的核心，流处理的数据集用DataStream表示。
渡码·2019-06-19 08:00

DataStream API介绍与使用（一）

详细API参考官网DataStream编程模型在Flink整个系统架构中，对流计算的支持是其最重要的功能之一，Flink基于Google提出的DataFlow模型，实现了支持原生数据流处理的计算引擎。
SunnyRivers·2019-06-14 17:37

Android中I/O

一数据流概念数据流（datastream）是一组有序，有起点和终点的字节的数据序列。
gongxiaoou·2019-06-13 16:25

二十三、Apache Flink常见问题汇总

2.flinksql转换为DataStream或DataSet任务的原理是什么？详细过程描述3.flinkcheckpoint原理是怎么实现的？4.flink为何可以做到exactly-once?
灰二和杉菜·2019-06-12 00:00

Flink基本的API

Flink使用DataSet和DataStream代表数据集。DateSet用于批处理，代表数据是有限的；而DataStream用于流数据，代表数据是无界的。
渡码·2019-06-03 12:00

【07】Flink 之 DataSet API（一）：Data Source

DataStream和DataSetFlink用DataStream表示无界数据集，用DataSet表示有界数据集，前者用于流处理应用程序，后者用于批处理应用程序。
大小宝·2019-06-01 15:16

【05】Flink 之 DataStream API（三）：Partition 操作

操作常用APIRandompartitioningRebalancingRescalingCustompartitioningBroadcastingRandompartitioning：随机分区使用dataStream.shuffle
大小宝·2019-05-31 23:17

【04】Flink 之 DataStream API（二）：Transformations 操作

1、DataStreamAPITransformations操作Transformations常见API：map：输入一个元素，然后返回一个元素，中间可以做一些清洗转换等操作flatmap：输入一个元素，可以返回零个，一个或者多个元素filter：过滤函数，对传入的数据进行判断，符合条件的数据会被留下keyBy：根据指定的key进行分组，相同key的数据会进入同一个分区Union：合并多个流，新的
大小宝·2019-05-31 23:23

Flink数据类型、序列化与累加器Accumulator

一、数据类型在Flink的DataSet以及DataStream中对可使用的元素添加了一些约束条件，目的是为了能够有效的分析这些类型的执行策略以及选择不同的序列化方式。
不清不慎·2019-05-21 23:07

NIST 随机性测试 问题

关于NIST随机性测试软件版本：sts-2.1.2使用说明测试要求：500条bitstream，每条bitstream长度为20000，测试全部15条测试项，测试序列以ASCII存储在一个文档(datastream.txt
linux91·2019-05-15 14:42
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他