datastream

Flink学习系列之五 DataStream API之Sink

sink是将数据源最终写入文件或者数据库或者其他中间件当中。1DataStreamAPI之DataSinkwriteAsText()：将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取print()/printToErr()：打印每个元素的toString()方法的值到标准输出或者标准错误输出流中自定义输出addSink【kafka、redis】上述1在之前写过
大佛拈花·2020-08-23 00:41

Flink数据流转——Task之间(用户API层面)

内容如下：预备知识介绍方法调用栈与关键类介绍预备知识点Function–>StreamOperator–>StreamTransformation–>DataStream根据用户StreamApi的逻辑构建执行计划
super_man_0820·2020-08-22 13:38

Gremlin入门

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin语言包括三个基本的操作：map-step：对数据流中的对象进行转换；f
scu酱油仔·2020-08-22 10:17

Flink随数据流动的四种StreamElement简述

Flink为了完成不同的任务，在DataStream中流动的不止是我们的业务数据StreamRecord，还有其余三种标记，分别是Watermark，StreamStatus，LatencyMarker
catkint·2020-08-21 13:02

轻装上阵Flink--在IDEA上开发基于Flink的实时数据流程序

前言本文介绍如何在IDEA上快速开发基于Flink框架的DataStream程序。先直接上手！环境清单案例是在win7运行。安装VirtualBox，在VirtualBox上安装Centos操作系统。
zhouqinxiong·2020-08-21 07:02

Flink自定义一个简单source

importorg.apache.flink.api.java.tuple.Tuple;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStr
修身从修心开始·2020-08-21 07:14

Apache Flink 第二章教案

程序部署本地执行//1.创建流计算执行环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//2.创建DataStream-细化valtext
麦田里的守望者··2020-08-21 06:13

Flink 实现实时计数和按窗口计时功能程序设计

最近在开发程序的时候,有需要实时的计数处理,以及需要按照设计的窗口来补时长,在要求选用Flink处理后,程序大致架构设计入下:其设计思路为:从kafk读取数据生成DataStream[Message]这样一个中间变量
梦想成真那天·2020-08-21 05:47

Flink Table Api & SQL 初体验,Blink的使用

无论输入是批处理输入（DataSet）还是流输入（DataStream），在两个接口中指定的查询都具有相同的语义并指定相同的结果。
ipoo·2020-08-21 05:03

Flink SQL 实战 (3)：Tabel API & SQL 注册Tabel Source

WordWithCount计算任务自定义了Sink函数现在我们开始研究自定义Source:前方干货极多注册TabelSource我们以KafkaSource举例，讲2种注册TabelSource的方法和一些技巧：将DataStream
_RobinWang·2020-08-21 04:15

flink1.11 学习篇--DataStream API

什么能被转化成流？Flink的Java和ScalaDataStreamAPI可以将任何可序列化的对象转化为流。Flink自带的序列化器有基本类型，即String、Long、Integer、Boolean、Array复合类型：Tuples、POJOs和Scalacaseclasses而且Flink会交给Kryo序列化其他类型。也可以将其他序列化器和Flink一起使用。特别是有良好支持的Avro。Ja
大D饲养员·2020-08-21 04:55

flink DataStream iterate迭代流scala代码示例

1.迭代流定义直接看官网的解释：通过将一个运算符的输出重定向到前面的某个运算符，在流中创建一个“feedback”循环。这对于定义持续更新模型的算法尤其有用。上面的代码从一个流开始，并持续地应用迭代体。大于0的元素被发送回反馈通道，其余的元素被转发到下游。2.scala代码示例importorg.apache.flink.api.java.utils.ParameterToolimportorg.
Never/ff·2020-08-21 04:50

flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）

importorg.apache.flink.streaming.experimental.DataStreamUtilsimportscala.collection.JavaConverters.asScalaIteratorConvertervalmyResult:DataStream
Never/ff·2020-08-21 04:18

Flink DataStream API - Connector（连接器）

Connector连接器HDFS连接器Kafka1.创建连接器2.创建反序列化器3.设置消息起始位置偏移4.设置检查点周期5.设置位置偏移提交方式异步I/O连接器Source和Sink节点连接外部数据源的组件称为连接器（Connector），其中内置连接器的实现代码集成在Flink源码中，但是这些代码并没有被编译进Flink二进制程序包中。内置连接器如下，其中括号里描述的是支持Source还是Si
李思净·2020-08-21 04:06

【Flink】从单词计数案例弄明白DataStream API

{DataStream,StreamExecutionEnvironment}i
sqlBoy_·2020-08-21 02:13

Flink DataStream 内外部数据源的各种情况汇总

一、内置数据源（1）文件数据源在StreamExecutionEnvironment中，可以使用readTextFile方法直接读取文本文件，也可以使用readFile方法通过指定文件InputFormat来读取特定数据类型的文件，如CsvInputFormat。下面的代码演示了使用readTextFile读取文本文件importorg.apache.flink.streaming.api.sca
ABCGirlly·2020-08-21 02:40

Flink DataStream流及Batch单词计数

实战一:通过socket模拟产生单词数据场景：需要实现每隔1秒对最近2秒内的数据进行汇总计算packageorg.jy.data.yh.bigdata.streaming.flink;importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.utils.ParameterT
蜗牛杨哥·2020-08-21 02:14

Flink解决简单程序Job execution failed报错

Unit={valenv:StreamExecutionEnvironment=StreamExecutionEnvironment.getExecutionEnvironmentvalsource:DataStream
AsItachi·2020-08-21 02:00

ElasticSearch ILM试玩

ElasticSearchILM试玩创建一个生命周期管理策略官方给的例子PUT_ilm/policy/datastream_policy{"policy":{"phases":{"hot":{"actions
小鸡·2020-08-20 17:28

ElasticSearch ILM试玩

ElasticSearchILM试玩创建一个生命周期管理策略官方给的例子PUT_ilm/policy/datastream_policy{"policy":{"phases":{"hot":{"actions
小鸡·2020-08-20 17:28

Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunction不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)。除此
西贝木土·2020-08-20 17:07

Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunction不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)。除此
西贝木土·2020-08-20 17:06

flink DataStream算子中如何实时更新变量？

1.问题描述，如下图：成功解决！还有在迭代流中还可以使用windows操作。4.方案（3）使用Flink的DataStreamUtils。实验未成功，成功的大佬分享一下！欢迎查看相关入门博客：https://segmentfault.com/a/11...
ch123·2020-08-20 17:18

flink DataStream算子中如何实时更新变量？

1.问题描述，如下图：成功解决！还有在迭代流中还可以使用windows操作。4.方案（3）使用Flink的DataStreamUtils。实验未成功，成功的大佬分享一下！欢迎查看相关入门博客：https://segmentfault.com/a/11...
ch123·2020-08-20 17:18

flink DataStream iterate迭代流scala代码示例

由于DataStream程序可能永远不会完成，因此没有最大迭代次数。相反，您需要指定使用分割转换或过滤器将流的哪一部分反馈回iteration，以及哪一部分转发到下游。
ch123·2020-08-20 17:39

flink DataStream iterate迭代流scala代码示例

由于DataStream程序可能永远不会完成，因此没有最大迭代次数。相反，您需要指定使用分割转换或过滤器将流的哪一部分反馈回iteration，以及哪一部分转发到下游。
ch123·2020-08-20 17:38

flink DataStream BroadcastStream广播流scala使用示例

1.官网解释广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务，在那里它被本地存储，并用于处理另一个流上的所有传入元素。作为广播状态自然适合出现的一个例子，我们可以想象一个低吞吐量流，其中包含一组规则，我们希望根据来自另一个流的所有元素对这些规则进行评估。考虑到上述类型的用例，广播状态与其他操作符状态的区别在于:（1）它是一个map格式（2）它只对输入有广播流和无广播流的特
ch123·2020-08-20 17:24

flink DataStream BroadcastStream广播流scala使用示例

1.官网解释广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务，在那里它被本地存储，并用于处理另一个流上的所有传入元素。作为广播状态自然适合出现的一个例子，我们可以想象一个低吞吐量流，其中包含一组规则，我们希望根据来自另一个流的所有元素对这些规则进行评估。考虑到上述类型的用例，广播状态与其他操作符状态的区别在于:（1）它是一个map格式（2）它只对输入有广播流和无广播流的特
ch123·2020-08-20 17:24

1、Flink Table API & SQL - 开发基础代码样例和maven依赖

无论输入是批输入(DataSet)还是流输入(DataStream)，在这两
飞朋·2020-08-19 00:31

Flink窗口之CountWindowAll

packageWindows;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming.api.datastream.AllWindowedStream
IT_BULL·2020-08-18 19:17

Flink进阶教程：如何在两个DataStream上进行Join操作

批处理经常要解决的问题是将两个数据源做关联Join操作。比如，很多手机APP都有一个用户数据源User，同时APP会记录用户的行为，我们称之为Behavior，两个表按照userId来进行Join。在流处理场景下，Flink也支持了Join，只不过Flink是在一个时间窗口上来进行两个表的Join。目前，Flink支持了两种Join：WindowJoin（窗口连接）和IntervalJoin（时间
皮皮鲁同学·2020-08-18 11:11

Apache Flink之程序的部署【章节二】

StreamExecutionEnvironment.createLocalEnvironment(3)//2.创建DataStreamvaltext=env.socketTextStream("CentOS",9999)//3.执⾏DataStream
::INVOKER·2020-08-18 11:31

ElasticSearch ILM试玩

ElasticSearchILM试玩创建一个生命周期管理策略官方给的例子PUT_ilm/policy/datastream_policy{"policy":{"phases":{"hot":{"actions
小鸡·2020-08-18 09:40

Flink

文章目录简介命令Flink的APIStatefulStreamProcessingDataStream/DataSetAPITableAPISQLFlinkSQLTableAPI依赖DataStream
我的猪仔队友·2020-08-17 01:55

Flink流处理之迭代案例

可是对于流处理（DataStream），Flink相同提供了对迭代的支持。这一节我们主要来分析流处理中的迭代，我们将会看到流处理中的迭代相较于批处理有类似之处。但差异也是十分之明显。
weixin_34174105·2020-08-16 16:17

pyflink的local模式实验记录

pythonflinkshell变量类型scalaflinkshell变量类型s_envpyflink.datastream.stream_execution_environment.StreamExecutionEnvironmentsenvStreamExecutionEnvironmentst_envpyflin
Applied Sciences·2020-08-16 12:02

FLink DataStream开发之Time与Window

TimeFlink流式处理中,存在时间的不同概念EventTime:事件的创建时间,通常由事件中的时间戳描述,相当于食品的生产日期IngestionTime:数据进入flink的时间,相当于食品快递到你家的时间ProcessingTime:是每个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是ProcessingTime,相当于你吃到汉堡的时间通过实际场景理解:一条日志进入到F
吃胡萝卜的鳄鱼·2020-08-16 07:10

flink Datastream之自定义connector

进入官网我们可以看到很多内置的source/sink,这能覆盖大多数的应用场景,嗯,大多数…产品:我:产品:“我想直接读取mysql的数据…”我:那就自定义一个吧,首先学习一下如何自定义Datasource,显然官方预见到了这个场景,给我们提供了三个接口:SourceFunction:非并行数据源ParallelSourceFunction:并行数据源RichParallelSourceFunct
吃胡萝卜的鳄鱼·2020-08-16 07:10

【Flink】双流处理:实时对账实现

:https://github.com/pierre94/flink-notes一、基础概念主要是两种处理模式:Connect/JoinUnion二、双流处理的方法ConnectDataStream,DataStream
pierre94·2020-08-14 08:06

【笔记】Flink 官方教程 Section 1 Try Fink

在其中执行如下命令mvnarchetype:generate\-DarchetypeGroupId=org.apache.flink\-DarchetypeArtifactId=flink-walkthrough-datastream-java
Little_Fall·2020-08-14 07:33

手把手开发Flink程序-基础

大家遇到什么问题可以在评论中说一下，我来完善文档Flink专辑的各篇文章链接：手把手开发Flink程序-基础手把手开发Flink程序-DataSet手把手开发Flink程序-DataStream步骤：准备工作
BoRoBoRoMe·2020-08-14 06:10

手把手开发Flink程序-DataStream

大家遇到什么问题可以在评论中说一下，我来完善文档Flink专辑的各篇文章链接：手把手开发Flink程序-基础手把手开发Flink程序-DataSet手把手开发Flink程序-DataStream现在我们继续解决手把手开发
BoRoBoRoMe·2020-08-14 06:10

Flink笔记03——一文了解DataStream

前言在前面的博客Flink笔记01——入门篇中，我们提到了Flink常用的API，如下图所示：这篇博客，南国主要讲述一下Flink的DataStream。
提灯寻梦在南国·2020-08-13 21:39

flink_初识01

{DataStream,StreamExecutionEnvironment}objec
weixin_30699235·2020-08-13 20:55

datastream, C++数据序列化与反序列化容器

到目前为止还不能号称功能完善，但，但应该基本可用了，堪堪记在这里，也许能给以后的自己一些帮助，或可得到高手指点一二：类文件被保存为datastream.hpp#pragma
CodingSir·2020-08-13 14:23

快速入门Flink (9) —— DataStream API 开发之【Time 与 Window】

写在前面：博主是一名软件工程系大数据应用开发专业的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/,博客主页:https://alice
Alice菌·2020-08-13 10:24

Apache Flink 使用DataStream API进行数据处理

问题导读1.流处理和批处理分别入口是什么？2.对于本地和远程运行程序，都可以使用哪个函数？3.Flink数据源分为哪两类？4.FlinkDataStream和DataSetsource都是基于什么格式？5.Flink中kafkasource是否为自定义？执行环境为了开始编写Flink程序，我们首先根据自己的需要，可以获得现有的或创建一个执行环境（executionenvironment）。Flin
贝拉美·2020-08-12 00:26

Flink中的的Transformation算子及实例

MapDataStream→DataStream：输入一个参数产生一个参数。
GOD_WAR·2020-08-12 00:54

Apache Flink源码解析之stream-transformation

所谓的transformation，用于转换一个或多个DataStream从而形成一个新的DataStream对象。Flink提供编程接口，允许你组合这些transform
vinoYang·2020-08-12 00:03

Flink-Table-SQL系列之source

当前Flink的Table&SQLAPI整体而言支持三种source：Tablesource、DataSet以及DataStream，它们都通过特定的API注册到Table环境对象。
vinoYang·2020-08-12 00:03
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他