datastream

Flink DataStream API使用及原理

flinkDataStreamAPI使用及原理传统的大数据处理方式一般是批处理式的，也就是说，今天所收集的数据，我们明天再把今天收集到的数据算出来，以供大家使用，但是在很多情况下，数据的时效性对于业务的成败是非常关键的。Spark和Flink都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。Spar
xyzkenan·2020-08-12 00:30

flink Datastream组装

transformation是flink中stream的静态对象，通过组装包含sink和source的transformation根据定义的代码可以组成stream的静态拓扑图，如下所示：* Source              Source*    +                   +*    |                   |*    v                   v
tydhot·2020-08-12 00:39

Apache Flink DataStream之CEP复杂事件处理机制

FlinkCEP概念FlinkCEP是其实一个Flink库，跟机器学习库是一样的。它是为了更快，更及时的发现一些我们所关心的事情，而不是需要等待几天或则几个月相当长的时间，才发现问题。比如我们的银行卡被人盗刷，如果没有CEP，那么我们即使丢了银行卡，可能也不知道，等我们发现银行卡丢失后，再去挂失等，发现银行卡里已经没钱了。有了CEP，则可以及时提醒，存在银行卡被盗刷的可能性。在应用系统中，总会发生
麦田里的守望者··2020-08-12 00:51

Flink（四）--DataStream的窗口计算

flink根据上游数据集是否为KeyedStream类型（将数据集按照Key分区），对应的WindowsAssigner也会有所不同。上游数据集如果是KeyedStream类型，则调用DataStreamAPI的windows()方法来指定WindowsAssigner,数据会根据Key在不同的Task实例中并行分别计算，最后得出针对每个Key的统计结果。如果是Non-Keyed类型，则调用Win
李_少·2020-08-11 23:22

flink学习——DataStream的基本转换

一、DataStreamDataStreamDataStream到DataStream,常规的算子有map、filter、flatmap.这些算子和java8的stream相似，就不多描述，这里主要说union
邱楠_qn·2020-08-11 23:21

Flink学习笔记 --- DataStream Transformations

StreamTransformations1.Map:DataSteam->DataSteamdataSteam.map{x=>x*2}2.FlatMapDataStream->DataStreamdataStream.flatMap{str=>str.split("")}3.FilterDataStream->DataStreamdataStream.filter{_!=0}4.KeyByDat
杨鑫newlfe·2020-08-11 23:30

Flink1.5简单应用DataSet开发

Flink应用开发flink和spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）使用maven导入相关依赖1.81.8UTF-82.11.22.112.6.21.5.0
Share-Get·2020-08-11 23:10

Flink DataStream API之State

DataStreamAPI之State无论StructuredStreaming还是Flink在流处理的过程中都有一个“有状态计算“的概念，那么到底什么是有状态计算，有状态计算应用到什么场景，在Flink的DataStreamAPI中如何使用状态，以及在Flink中状态是如何管理的，在这篇文章中，我们一点一点来学习。1什么是有状态计算在讲什么是有状态计算之前，先简单说一下什么是无状态计算，在我理解
shirukai·2020-08-11 23:23

Flink_DataStream 的 Transformation

文章目录DataStream的Transformation1.KeyBy2.Connect3.Split和select数据输出DataSinks1.sink到kafka2.sink到mysqlDataStream
BigMoM1573·2020-08-11 22:14

【Flink】流式处理--DataStream API 开发

一、入门案例Flink流处理程序的一般流程1)获取Flink流处理执行环境2)构建source3)数据处理4)构建sink需求：使用socket统计单词个数步骤1)获取Flink批处理运行环境2)构建一个socket源3)使用flink操作进行单词统计4)打印前提：安装nc服务yuminstall-ync代码importorg.apache.flink.api.java.tuple.Tupleim
依旧ฅ=ฅ·2020-08-11 22:13

Flink流处理-DataStream常用Source及Sink

环境flink-1.9.0一、需要的依赖org.apache.flinkflink-streaming-java_2.111.9.0二、初始化执行环境读取数据文件数据文件wordhowareyouworldandthathelloworldjackandappstormstormwhatsparkspark初始化流处理执行环境/***初始化流处理执行环境*/privatestaticStreamE
ζั͡ޓއއއ๓丶坏男孩·2020-08-11 22:08

Apache Flin之Streaming DataStream API【章节三】

Streaming(DataStreamAPI)DataSource数据源数据源是程序读取数据的来源，⽤户可以通过env.addSource(SourceFunction),将SourceFunction添加到程序中。Flink内置许多已知实现的SourceFunction，但是⽤户可以⾃定义实现SourceFunction（⾮并⾏化的接⼝）接⼝或者实现ParallelSourceFunction
::INVOKER·2020-08-11 22:39

Flink 基础学习(四)转换 Transformation

算子将一个或多个DataStream转换为新的DataStream。程序可以将多种转换组合成复杂的数据流拓扑。在学习过程中，官网是个不错的入门
javageektech·2020-08-11 21:47

DataStream理解

importjava.io.*;classDataStreamTest{publicstaticvoidmain(String[]args){ByteArrayOutputStreambaos=newByteArrayOutputStream();DataOutputStreamdos=newDataOutputStream(baos);try{dos.writeDouble(Math.rando
chunjiuchep5460·2020-08-11 21:30

Flink系列：DataStream API使用

DataStreamAPI主要分为块：DataSourceTransformation,SinkDataSource数据源组件，是程序的数据源输入，可以通过StreamExecutionEnvironment.addSource(sourceFunction）为程序添加1个数据源Flink系列：DataStreamAPI介绍Transformation表示算子，主要用来对数据进行处理，是具体的操作
NIO4444·2020-08-11 20:19

Flink系列：Transformation API使用方法

KeyBy的两种典型用法DataStream.keyBy("someKey")
NIO4444·2020-08-11 20:19

Flink DataStream API——Transform

mapvalstreamMap=stream.map{x=>x*2}flatMapvalstreamFlatMap=stream.flatMap{x=>x.split("")}FiltervalstreamFilter=stream.filter{x=>x==1}KeyByDataStream→KeyedStream：输入必须是Tuple类型，逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同
Fenggms·2020-08-11 20:44

【Flink学习笔记】Flink DataStream API之Transformation算子小结

1、map算子1）理解：通过对DataStream对象调用其map方法，对数据流中的每一个元素进行转换逻辑操作，最终返回每一个输入元素转换后的结果数据继续封装成一个DataStream对象返回（输入多少个元素
hi枫林客·2020-08-11 20:00

Apache Flink DataStream API之Transformation(章节三)

作者：jiangzz电话：15652034180微信：jiangzz_wx微信公众账号：jiangzz_wyDataStream数据转换常规操作符//orderzhangsanTV,GAMEvalenv=StreamExecutionEnvironment.createLocalEnvironment()valprops=newProperties()props.setProperty(Consu
麦田里的守望者··2020-08-11 20:18

Apache Flink 零基础入门（十六）Flink DataStream transformation

OperatorstransformoneormoreDataStreamsintoanewDataStream.Operators操作转换一个或多个DataStream到一个新的DataStream。
vincent_duan·2020-08-11 20:00

Flink简单应用DataStream开发

DataStream开发Flink中的DataStream程序是实现数据流转换（例如，过滤，更新状态，定义窗口，聚合）的常规程序。数据流最初由各种来源（例如，消息队列，套接字流，文件）创建。
Share-Get·2020-08-11 20:22

Flink——DataStream API

关于Flink程序的开发流程和具体案例请参考：Flink——从零搭建Flink应用。DataSourceDatasource用于Flink程序读取数据，可通过：StreamExecutionEnvironment.进行配置。内置数据源文件数据源：readTextFile(path)：直接读取文本文件；readFile(fileInputFormat,path)：读取指定类型的文件；readFile
积微成著·2020-08-11 20:58

Flink-FilesystemConnector和HiveConnector

关于StreamingFileSink，可参考Flink-DataStream-HDFSConnector(StreamingFil
迷路剑客·2020-08-09 19:54

Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunction不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)。除此
西贝木土·2020-08-09 13:56

Flink1.8进阶：Flink1.8批量Sink到HBase

需要批量插入hbase,这里自定义时间窗口countWindowAll实现100条hbase插入一次Hbase前面我就不写了直接上核心代码/*每10秒一个处理窗口*/DataStream>putList
卡搜偶·2020-08-09 06:08

Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunction不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)。除此
西贝木土·2020-08-08 14:27

Flink状态妙用

1.状态的类别1.1从数据角度看，flink中的状态分为2种：KeyedState在按key分区的DataStream中，每个key拥有一个自己的state，换句话说，这个state能得到这个key所有的数据
福禄网络技术团队·2020-08-04 17:00

Flink DataStream使用

DataStreamDataSourcesSourceFunction简介StreamSourcesFile-basedSocket-basedCollectionbasedCustomSourceFunction基本使用SourceFunction&ParallelSourceFunction案例代码具体讲解RichParallelSourceFunction实现MySQLSource实现思路案
疯狂呼呼呼·2020-08-04 15:08

Premature EOF from inputStream错误的不同原因

根据这个关键信息去网上搜了下，有说lzo压缩指定方式不对的MapReduce使用lzo压缩注意，也有说节点或者通信出问题，或者文件操作超租期，实际上就是datastream操作过程中文件被删掉了，后者的意思在后知后觉下其实已经比较接近我遇到的
weixin_33910434·2020-08-04 05:53

Flink的广播变量和广播状态

1、dataStreaming中的broadcast把元素广播给所有的分区，数据会被重复处理dataStream.broadcast()2、机器级别的广播广播变量允许编程人员在每台机器上保持1个只读的缓存变量
zuodaoyong·2020-08-03 09:01

TCP协议中的seq/ack序号是如何变化的？

sequencenumber：表示的是我方（发送方）这边，这个packet的数据部分的第一位应该在整个datastream中所在的位置。（注意这里使用的是“应该”。
weixin_33863087·2020-08-03 06:12

Flink DataStream 广播状态模式

FlinkDataStream广播状态模式我们使用State描述了OperatorState，在恢复时，可以修改并行度重新分配OperatorState（偶分裂再分配方式），或者使用Union的方式（联合重新分发）恢复并行任务。OperatorState还有一种广播状态模式（BroadcastState）。引入广播状态是为了支持这样的用例，其中来自一个流的一些数据需要被广播到所有下游任务，其中它被
张行之·2020-08-03 03:01

flink DataStream BroadcastStream广播流scala使用示例

1.官网解释广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务，在那里它被本地存储，并用于处理另一个流上的所有传入元素。作为广播状态自然适合出现的一个例子，我们可以想象一个低吞吐量流，其中包含一组规则，我们希望根据来自另一个流的所有元素对这些规则进行评估。考虑到上述类型的用例，广播状态与其他操作符状态的区别在于:（1）它是一个map格式（2）它只对输入有广播流和无广播流的特
Never/ff·2020-08-03 02:19

Flink-DataStream 窗口

Flink-DataStream窗口窗口window窗口的生命周期KeyedvsNon-KeyedWindows窗口分配器（WindowAssigners）滚动窗口（TumblingWindows）滑动窗口
李思净·2020-08-03 00:36

Flink DataStream API 中的多面手——Process Function详解

https://mp.weixin.qq.com/s/SOCAE-t25DPVlQMxuOT0jw引言在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunct
gongpulin·2020-08-03 00:19

Flink系列：Broadcast的使用方法

区别DataStream中的Broadcast（分区规则）：分区规则是把元素广播给所有的分区，数据会被重复处理DataStream.broadcast()Flink中的Broadcast（广播变量〉功能
NIO4444·2020-08-02 22:14

Flink学习21---window和Time（四）会话窗口SessionWindow

packageflink.review.datastream.E_Window;importcom.demo.flink.countWindow.CountWindow;importcom.demo.f
zhuzuwei·2020-08-02 21:28

JAVA基础学习day22--IO流四-对象序列化、管道流、RandomAccessFile、DataStream、ByteArrayStream、转换流的字符编码...

一、对象序列化1.1、对象序列化被操作的对象需要实现Serializable接口1.2、对象序列化流ObjectOutputStream与ObjectInputStreamObjectInputStream对以前使用ObjectOutputStream写入的基本数据和对象进行反序列化。ObjectOutputStream和ObjectInputStream分别与FileOutputStream和F
weixin_33871366·2020-08-02 19:27

Flink DataStream 关联维表实战

针对于此，笔者根据工作经验以及社区资源整理了用DataStream实现Join维表的常见方
Ververica·2020-08-02 14:09

运行flink官网DataStream API例子报错ClassNotFoundException

一个针对可疑信用卡交易行为的反欺诈检测系统的demo：https://ci.apache.org/projects/flink/flink-docs-release-1.10/getting-started/walkthroughs/datastream_api.html
我是A_lin呀·2020-08-01 05:02

CodeGen实现代码生成器

(Flink内部，在由Sql->DataStream时，也使用了CodeGen代码生成器功能)demo说明：*Stu
super_man_0820·2020-08-01 00:31

2018-12-04

关系数据库管理系统关系数据模型和关系数据库管理系统E-R模型，SQL语言，查询处理和优化，OLTP（恢复和并发技术）1990s：数据仓库，联机分析处理和数据挖掘数据仓库，联机分析处理和数据挖掘，多媒体数据库，Web数据库，DataStream
啦啦啦_9a5f·2020-07-31 11:10

Flink DataStream API之Operators

FlinkDataStreamAPI之Operators官网位置：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/stream/operators/OperatorstransformoneormoreDataStreamsintoanewDataStream.Programscancombinemultiple
shirukai·2020-07-30 16:17

Flink 常用的 DataSet 和 DataStream API

目前截止1.10版本依然采用了DataSet和DataStream两套API来适配不同的应用场景。
Platina_Tomato·2020-07-30 12:58

快速开始flink的学习

运行环境多样化：1.5业界流处理框架对比：1.6使用案列：1.7发展趋势：1.8如何高效学习Flink：2快速上手开发第一个Flink程序3编程模型核心及其概念3.1Flink编程模型：3.2DataSet/DataStream
逃跑的沙丁鱼·2020-07-30 12:52

Apache Flink 学习笔记（三）

上一篇传送门ApacheFlink学习笔记（二）Flink中DataSet和DataStream都能与Table互转，每一种操作也都有相对应的api补充：使用TableAPI以及下一章的SQL，请添加以下依赖项
憨人Zoe·2020-07-29 16:39

Flink:DataStream API 开发

入门案例Flink流处理程序的一般流程获取Flink流处理执行环境构建source数据处理构建sink示例编写Flink程序，用来统计单词的数量步骤获取Flink批处理运行环境构建一个socket源使用flink操作进行单词统计打印说明：如果linux上没有安装nc服务,使用yum安装yuminstall-ync参考代码importorg.apache.flink.api.java.tuple.T
真情流露哦呦·2020-07-29 07:57

Flink DataStream API 再理解

文章目录DataStreamAPI概览DataStream的转换KeyedStream的理解数据分区调配算子类型概览示例DataStreamAPI概览DataStream的转换DataStream通过split
马本不想再等了·2020-07-28 09:07

Flink ProcessFunction onTimer 延迟处理数据

ProcessFunction和CoProcessFunction说明DataStream与KeyedStreamd都有Process方法,DataStream接收的是ProcessFunction，而
Resemble_·2020-07-28 06:56

Side Output(侧输出)

SideOutput(侧输出)除了从DataStream操作的结果中获取主数据流之外，你还可以产生任意数量额外的侧输出结果流。
丹之·2020-07-28 01:57
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他