datastream

[Flink课程]---- 2.2 DataSet API & DataStream API & Table & SQL API 的对比

说明本文基于Flink-1.6.0版本进行整理和分析，如有不妥之处，敬请指正。内容一、Flink的技术栈图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html注意TableAPI&SQL统一了DataStreamAPI和DataSetAPI，所以，如果没有特殊业务场景，建议
highfei2011·2018-12-22 11:46

聊聊flink的TextOutputFormat

/org/apache/flink/streaming/api/datastream/DataStream.java/***WritesaDataStreamtothefilespecifiedbypath
codecraft·2018-12-03 00:00

[case48]聊聊flink的SocketClientSink

/org/apache/flink/streaming/api/datastream/DataStream.java/***WritestheDataStreamtoasocketasabytearra
codecraft·2018-12-02 00:00

聊聊flink的PrintSinkFunction

/org/apache/flink/streaming/api/datastream/DataStream.java/***WritesaDataStreamtothestandardoutputstream
codecraft·2018-12-01 00:00

flink实战--双流join之Join和coGroup的区别和应用

下面让我们简单看一下两个算子的用法WindowJoinDataStream，DataStream→DataStream在给定密钥和公共窗口上连接两个数据流。
阿华田512·2018-11-13 18:33

flink实战开发----flinkSQL入门大全

TableAPI是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，TableAPI和SQL接口彼此紧密集成，以及Flink的DataStream和DataSetAPI
阿华田512·2018-11-12 00:00

Apache Flink CEP学习总结

里面的API也有与Spark类似的，例如FlinkKafkaConsumer010对应着Spark里的读取Kafka形成流的API，DataStream对应着Spark里的DStream，也有一系列的transformAPI
rongyongfeikai2·2018-11-02 15:06

Flink DataStream /DataSet 与Table的互相转化

FlinkDataStream/DataSet与Table的互相转化首先导入这些importorg.apache.flink.streaming.api.scala._importorg.apache.flink.table.api.scala._importorg.apache.flink.api.scala._importscala.collection.JavaConverters._一、D
唐予之_·2018-10-23 11:58

Flink DataStream API指南【翻译】

1.什么是DataStream？
不清不慎·2018-10-14 17:34

Flink v1.6.1 官方文档学习 —《DataStream API 之概述》

目录1.示例程序2.DataSources3.DataStream转换操作4.DataSinks5.迭代6.执行参数6.1容错6.2控制延迟7.Debugging7.1本地运行环境7.2集合数据源7.3
Mathieu66·2018-10-12 11:39

Flink 官方文档学习 —《基本API概念》

 目录基本API概念1.Dataset和DataStream2.Flink程序构成（AnatomyofaFlinkProgram）3.延迟计算（LazyEvaluation）4.指定键（SpecifyingKeys
Mathieu66·2018-10-11 00:00

TCP协议中的seq/ack序号是如何变化的？

sequencenumber：表示的是我方（发送方）这边，这个packet的数据部分的第一位应该在整个datastream中所在的位置。（注意这里使用的是“应该”。
geekartt·2018-09-12 00:00

Apache Flink源码解析 （六）执行计划生成之StreamGraph-上半篇: 通过DataStream API

Transformation到实际运行的Task中间还要经过StreamGraph，JobGraph，ExecutionGraph这三个转换PrerequisitesDataStreamAPI下图是不同类型的DataStream
铛铛铛clark·2018-09-02 17:29

Apache Flink - 常见数据流类型

DataStream：DataStream是Flink流处理API中最核心的数据结构。它代表了一个运行在多个分区上的并行流。
gqb00·2018-08-23 10:00

Hadoop 文件部分命令(文件行数)

多个文件合并后输出到一个文件之中hadoopfs-getmergefilePathlocalPath/data.dat3.统计多个文件行数hadoopfs-cat/文件*|wc-lhadoopfs-cat/datastream
huntblack·2018-08-14 11:14

Flink DataStream API编程

DataStreamAPIFlink的DataStream程序四实现数据流转换的常规程序(例如L过滤,更新状态,定义窗口,聚合).最初从各种源（例如，消息队列，套接字流，文件）创建数据流。
Going_sky·2018-08-06 18:14

UDP传输中文乱码解决

ByteArrayOutputStreamostream=newByteArrayOutputStream();DataOutputStreamdataStream=newDataOutputStream(ostream);dataStream.writeUTF
impxq·2018-07-26 19:35

（转）Concurrency in Go 3--Channels

要声明一个只能被读取的单向通道，你可以简单的使用<-符号，如下所示：vardataStream<-chaninterface{}dataStream:=make(<-chaninterface{})与之相对应
one_zheng·2018-07-10 14:02

云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战011-DataStream与MySql自定义sink和source(Java版)003

四、自定义sink1.自定义sinkpackagecode.book.stream.customsinkandsource.jdbc.java;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.functions.sink.RichSinkFunction;importja
云星数据-大数据团队·2017-11-21 09:39

云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战010-DataStream与MySql自定义sink和source(Java版)002

三、自定义source1.自定义sourcepackagecode.book.stream.customsinkandsource.jdbc.java;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.functions.source.RichSourceFunction;
云星数据-大数据团队·2017-11-21 09:29

云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战008-DataStream与MySql自定义sink和source(Scala版)003

四、自定义sink1.自定义sinkpackagecode.book.stream.customsinkandsource.jdbc.scalaimportjava.sql.{Connection,DriverManager,PreparedStatement}importorg.apache.flink.configuration.Configurationimportorg.apache.fl
云星数据-大数据团队·2017-11-21 09:38

云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战006-DataStream与MySql自定义sink和source(Scala版)001

一、在MySQL中准备测试数据1.执行命令1.查询数据库 SHOWDATABASES; 2.创建数据库 CREATEDATABASEflinktest; 3.使用数据库 USEflinktest; 4.创建表格 CREATETABLEStudent(stuidINT(11)PRIMARYKEYNOTNULLAUTO_INCREMENT,stunameVARCHAR(10)NOTNULL,st
云星数据-大数据团队·2017-11-21 09:09

云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战013-Flink在流处理中常见的sink和source002

Socket-based-source）方法原型defsocketTextStream(hostname:String,port:Int,delimiter:Char='\n',maxRetry:Long=0):DataStream
云星数据-大数据团队·2017-11-21 00:00

【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础004--flink特性：类库和API示例

示例程序： //1.定义caseclass caseclassWord(word:String,freq:Long) //2.定义数据源 valtexts:DataStream[String]=...
云星数据-大数据团队·2017-11-12 14:58

Gremlin简介

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原
风远陌·2017-11-09 10:04

Find Median From Data Stream[Hard]

这题难在于这是一个DataStream,实时的数据哗啦哗啦进来，需要runtime非常快的datastructure.蛮力法：【会timeout.】进阶版：要怎么能够做到O(1)的速度呢？
98Future·2017-07-27 13:38

DataStream和FileStream用法

1、DataInputStream和DataOutputStream都是Java中输入输出流的装饰类，用起来很方便。packageanother;importjava.io.BufferedInputStream;importjava.io.BufferedOutputStream;importjava.io.DataInputStream;importjava.io.DataOutputStre
Candyys·2017-07-03 09:21

File type DataStream not supported 错误解决

        不管在什么地方,什么时候,学习是快速提升自己的能力的一种体现!!!!!!!!!!!今天在测试flume中spooldir传输数据的时候报出了一个HDFSIO错误（两种原因造成，请先看完看看是否跟你的情况符合），错误如下图错误之前的spool.conf配置如下#agent的原始源（sources）、管道（Channel）、目标源（sinks）agent.sources=dataDir
hui_2016·2017-04-20 10:00

Flink DataStream API Programming Guide学习&译文(未完待续)

FlinkDataStreamAPIProgrammingGuideDataStreamprogramsinFlinkareregularprogramsthatimplementtransformationsondatastreams(e.g.,filtering,updatingstate,definingwindows,aggregating).Thedatastreamsareinitia
javartisan·2017-04-19 15:32

Flink流计算编程：双流中实现Inner Join、Left Join与Right Join

一：简介之前文章中提到JoinedStream与CoGroupedStream，例如下列代码：dataStream.join(otherStream).where(0).equalTo(1).window
lmalds李麦迪·2016-08-01 15:12

Flink流计算编程--在双流中体会joinedStream与coGroupedStream

这里很明确了，我们要在2个DataStream中指定连接的key以及window下来运算。二、
lmalds李麦迪·2016-06-23 15:46

Flink流计算编程--在WindowedStream中体会EventTime与ProcessingTime

一、Flink流处理简介Flink流处理的API叫做DataStream，可以在保证Exactly-Once的前提下提供高吞吐、低延时的实时流处理。
lmalds李麦迪·2016-06-17 14:41

07_Flink Streaming transform

flatmap,map,filter都是转换，通过datastream的transform方法。以最经典的flatmap为例，transform，需要三个参数，操作名字，输出类型，对输入数据的操作。
codemosi·2016-06-08 10:45

Apache Flink：流处理中Window的概念

ApacheFlink–DataStream–Window什么是Window？有哪些用途？下面我们结合一个现实的例子来说明。我们先提出一个问题：统计经过某红绿灯的汽车数量之和？
lmalds李麦迪·2016-06-07 16:55

01_Flink Streaming env

importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataSt
codemosi·2016-06-03 10:03

Apache Flink源码解析之stream-transformation

所谓的transformation，用于转换一个或多个DataStream从而形成一个新的DataStream对象。Flink提供编程接口，允许你组合这些transform
yanghua_kobe·2016-05-14 20:00

Flink DataStream API Programming Guide

ExampleProgramThefollowingprogramisacomplete,workingexampleofstreamingwindowwordcountapplication,thatcountsthewordscomingfromawebsocketin5secondwindows. publicclassWindowWordCount{ publicstaticvoid
fxjwind·2016-04-26 12:00

flume的hdfssink自定义EventSerializer序列化类

hdfs并没有直接配置序列化类的选项需要根据fileType来选择对相应序列化类，我们使用的datastream的类型，对应的类是HDFSDataStream，这个类默认的序列化类TEXT（这是个枚举类型
ivan-Zhao·2016-04-01 18:00

网易视频云：HBase优化实战

背景Datastream一直以来在使用HBase分流日志，每天的数据
vcould163·2016-03-06 14:00

G面经prepare: Data Stream Average

给一个datastream和一个fixedwindowsize,让我design一个class可以完成addnumber还有findaverageinthewindow.就是不能用vector得用array
neverlandly·2016-01-20 01:00

HBase优化实战

背景Datastream一直以来在使用HBase分流日志，每天的数据量很大，日均大概在80亿条，10TB的数据。
genghaihua·2016-01-12 16:28

10.26的总结, 管道流用法, RandomAccessFile, DataStream 有待深入.

1 package test; 2 import java.io.*; 3 import java.nio.channels.FileChannel; 4 import java.util.*; 5 public class Test10_26 6 { 7 public static void main(String[] args) throws E
·2015-11-13 11:02

DataStream_操作基本类型数据的流对象

1 import java.io.DataInputStream; 2 import java.io.DataOutputStream; 3 import java.io.FileInputStream; 4 import java.io.FileOutputStream; 5 import java.io.IOException; 6 7 public class T
·2015-11-12 22:24

stagefright框架 Video Playback的流程

mfbao01/article/details/6234580      2.http://disanji.net/2011/03/06/android-stagefright-datastream-awesomeplayer
·2015-11-01 13:01

链式生产环境装配

/// <summary> /// 数据，它会反复接收工厂里各个环节的加工 /// </summary> public class DataStream
·2015-10-19 11:43

稳定高效的MySQL与MSSQL读写分离/连接复用/Sharding-把HTTP的技术推进到数据层

因此我来谈谈NetScaler的DataStream技术。Ci
nsinsight·2015-09-10 08:59

稳定高效的MySQL与MSSQL读写分离/连接复用/Sharding-把HTTP的技术推进到数据层

因此我来谈谈NetScaler的DataStream技术。Ci
nsinsight·2015-09-10 08:59

hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"

错误原文分析文件操作超租期，实际上就是datastream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。
stark_summer·2015-08-17 13:00

程序员的量化交易之路（37）--Lean之DataStream数据流5

在主线程中和DataFeed打教导的事DataStream。下面我们看它的代码。说明在注释中说明了。/* *QUANTCONNECT.COM-De
MiniMicall·2015-06-20 22:00

DataStream

packagecom.tz.util;importjava.io.DataInputStream;importjava.io.DataOutputStream;importjava.io.FileInputStream;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.IOExcepti
浅浅静听·2015-03-17 14:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他