datastream

Flink之数据流编程模型（上）

DataStream/DataSetAPI:在我们的实际工作中，大多数的应用程序是不需要上文所描述的低级别（底层）抽象，而是相对于诸如DataStreamAPI（有界
alexdamiao·2020-07-27 18:35

一个作业，多个TTL——Flink SQL 细粒度TTL配置的实现(二)

我们介绍了实现FlinkSQL细粒度TTL配置的基本原理：通过将原来一段SQL按照TTL的不同拆分为多段子SQL，然后逐个“翻译-重注册”，最终获得等价于原来一段SQL所描述的但各部分的TTL配置不一样的DataStream
KAMI说·2020-07-27 11:02

Flink Kafka Connector介绍和使用（DataStream and Table）

前言Flink提供了一个ApacheKafka连接器，我们可以很方便的实现从Kafka主题读取数据和向其写入数据。Flink附带了提供了多个Kafka连接器：universal通用版本，0.10，0.11官方文档解释说universal(通用版本)的连接器，会尝试跟踪Kafka最新版本，兼容0.10或者之后的Kafka版本，官方文档也说对于绝大多数情况使用这个即可。在最新的官方文档上有这个通用版本
俩只猴·2020-07-24 12:22

DataStream API（一）

如下图：DataStreamAPI顾名思义，就是DataStream类的API，DataStream表示Flink程序中的流式数据集合。它是一个包含重复项的不可变数据集合，这些数据可以是有
松林风起·2020-07-16 17:00

Flink之 group by

1、如果使用groupbytable转换为流的时候只能用toRetractDstreamvalrDstream:DataStream[(Boolean,(String,Long))]=table.toRetractStream
qq_37969476·2020-07-16 07:53

flink学习笔记-自定义数据源

{DataStream,StreamExecutionEnvironment}importorg.apache.flink.streaming.api.windowing.time.TimeobjectFlinkSource1
小猿学习笔记·2020-07-16 05:04

基于DataStream API 的flink程序实现TopN

背景介绍：每隔五分钟，统计过去一个小时的热门商品。数据集：https://tianchi.aliyun.com/dataset/dataDetail?dataId=60747代码：数据结构：packagecom.flink.topn;publicclassUserDataBean{publiclonguserId;//用户IDpubliclongitemId;//商品IDpublicintcate
li2327234939·2020-07-16 01:58

java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

在学习flink是出现以下错误：java.lang.NoClassDefFoundError:org/apache/flink/streaming/api/datastream/DataStreamatjava.lang.Class.getDeclaredMethods0
s小菜鸟·2020-07-15 06:31

Gremlin入门

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin语言包括三个基本的操作：map-step：对数据流中的对象进行转换；f
weixin_33895695·2020-07-15 04:13

Gremlin:图遍历语言

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin包括三个基本的操作：map-step对数据流中的对象进行转换；
weixin_30897079·2020-07-15 03:46

Apache Flink -Streaming(DataStream API)

综述：在Flink中DataStream程序是在数据流上实现了转换的常规程序。
weixin_30873847·2020-07-15 03:05

流处理应用开发（SequoiaDB）

其基础API可以看到分为用于流场景的DataStream与批场景的DataSet，基于这两种API，Flink又抽象出TableAPI与CEP和ML等高级接口，本次课程只演示DataStreamAPI和
alwaysStudy1998·2020-07-15 01:08

Streaming(DataStream API): 概念介绍

Streaming(DataStreamAPI)原文参考:https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/datastream_api.html
菲橙·2020-07-15 01:23

一起来读源码37-eosio.cdt contract

contract.hpp知识点:deprecated:主要用于标记过时的函数、接口、类等;定义类:classcontract{name_self;//合约部署者名字name_first_receiver;//合约部署者datastream_ds
狍子科技-贺汉景·2020-07-14 17:29

一起来读源码36-eosio.cdt action

用来将多个变量构造成std::tuple;2.std::tuple:元组,使用它可以把多个不同类型的变量组合成一个对象;action数据拆包:默认包缓冲区尺寸:512byte,如果超过就malloc;具体的拆包代码在datastream.hpp
狍子科技-贺汉景·2020-07-14 17:29

Java基础---Java---IO流-----对象的序列化、管道流、RandomAccessFile、数据类型的流对象DataStream、ByteArrayStream

ObjectInputStream对以前使用ObjectOutputStream写入的基本数据和对象进行反序列化。ObjectOutputStream和ObjectInputStream分别与FileOutputStream和FileInputStream一起使用时，可以为应用程序提供对对象图形的持久存储。ObjectInputStream用于恢复那些以前序列化的对象。其他用途包括使用套接字流在主
码农突围·2020-07-14 11:38

Flink连接kafka，将DataStream转换为Table进行查询操作

分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！点击浏览教程TableAPI是用于流和批处理的统一关系API。TableAPI查询可以在批量或流式输入上运行而无需修改。TableAPI是SQL语言的超级集合，专门用于与ApacheFlink一起使用。TableAPI是Scala和Java语言集成API。TableAPI查询不是像SQL一样将字符
ikeguang·2020-07-13 04:29

Flink 编程接口（Flink SQL Table API DataStream API 和 DataSet API Stateful Stream Process API）

同时Flink将数据处理接口抽象成四层，由上向下分别为SQLAPI、TableAPI、DataStream/D
程序猿进阶·2020-07-12 20:04

Flink 流处理流程 API详解

Flink：不同之处是面向数据本身的，会把DataStream抽象成一个
程序猿进阶·2020-07-12 20:03

Flink：table API

语句时的区别如何使用TableAPI入门导入依赖代码结构创建TableEnvironment创建表从外部关系型数据库中创建表标识符查询表使用tableAPI使用SQLTablesink将表写到外部系统与DataStream
x950913·2020-07-12 16:10

Flink DataStream API Programming Guide

ExampleProgramThefollowingprogramisacomplete,workingexampleofstreamingwindowwordcountapplication,thatcountsthewordscomingfromawebsocketin5secondwindows.publicclassWindowWordCount{publicstaticvoidmain(
weixin_34163741·2020-07-12 09:30

Spring5.0 WebFlux入门及实战示例

什么是SpringWebFluxWebFlux是Spring推出响应式编程的一部分(web端)响应式编程是异步非阻塞的(是一种基于数据流（datastream）和变化传递（propagationofchange
Jaemon·2020-07-12 02:53

Flink学习-HDFSConnector(StreamingFileSink)

Flink学习-HDFSConnector(StreamingFileSink)Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐摘要本文主要介绍Flink中的DataStream
迷路剑客·2020-07-11 02:10

Flink Windows 多流 Join 和 SQL Join

案例：inputStream1:DataStream[(Long,String,Int)]=...inputStream2:DataStream[(String,Long,Int)]=...
Mr_Hagrid·2020-07-10 20:50

flink连接postgresql数据库

importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataS
weixin_43315211·2020-07-10 10:07

大数据开发工程师面试题 （20.04.15）

dataStream.rebalance()②发生窗口数据倾斜时：将key进行扩展，扩
纯净天空7·2020-07-09 10:46

Flink学习6---DataStream之DataSource API (五）RichParallelSourceFunction自定义多并行DataSource

自定义多并行DataSource必须继承RichParallelSourceFunction类，并重写run()和cancel()方法。importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.functions.source.RichParallelSourceFunction;import
zhuzuwei·2020-07-09 06:08

Flink学习9---DataStream之功能更丰富的Transformation算子RichMapFunction

Flink还提供了功能更丰富的Transformation实现接口。RichFuction除了提供原来MapFuction的方法之外，还提供open,close,getRuntimeContext和setRuntimeContext方法，这些功能可用于参数化函数（传递参数），创建和完成本地状态，访问广播变量以及访问运行时信息以及有关迭代中的信息。importorg.apache.flink.api
zhuzuwei·2020-07-09 06:08

Flink学习7---DataStream之DataSource API (六）不同数据源及容错性总结

1.Flink提供的这些数据源接口的容错性保证如下表。DataSource语义保证备注FileExactly-onceCollectionExactly-onceSocketAt-most-onceKafkaExactly-once需要使用0.10及以上版本2.Flink可通过内置的Connector连接器，提供对应的Source支持连接器是否提供Source支持是否提供Sink支持ApacheK
zhuzuwei·2020-07-09 06:08

Flink学习5---DataStream之DataSource API (四）addSource用法

addSource可以实现读取第三方数据源的数据。1.此处以读取kafka数据为例（kafka集群安装参考https://blog.csdn.net/zhuzuwei/article/details/107136796）importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.
zhuzuwei·2020-07-09 06:08

Flink学习8---DataStream之Transformation算子简介

一、Flink针对DataStream提供了大量的已经实现的算子。1.map:输入一个元素，返回一个元素，中间可以进行清洗转换等操作。
zhuzuwei·2020-07-09 06:08

聊聊flink KeyedStream的KeySelector

/org/apache/flink/streaming/api/datastream/KeyedStream.java@PublicpublicclassKeyedStreamextendsDataStream
weixin_33853827·2020-07-08 15:47

DataStream与DataSet

DataStream与DataSetFlink具有特殊类DataStream与DataSet，这两者是flink中主要的数据源，根据数据源可分为有界源和无界源，而DataStream则是无界源，DataSet
浅然言而信·2020-07-08 12:45

Flink DataStream之Kafka数据写入HDFS，并分区到Hive

FlinkDataStream之Kafka数据写入HDFS，并分区到Hive因业务要求，我们需要从Kafka中读取数据，变换后最终Sink到业务的消息队列中，为保证数据的可靠性，我们同时对Sink的结果数据，进行保存。最终选择将流数据Sink到HDFS上，在Flink中，同时也提供了HDFSConnector。下面就介绍如何将流式数据写入HDFS，同时将数据load到Hive表中。一、pom.xm
张行之·2020-07-07 21:41

flink深入研究(12) DataStream类中keyBy函数调用流程

这里再贴一下相关代码：//连接socket获取输入的数据DataStreamSourcetext=env.socketTextStream("localhost",port,"\n");//计算数据DataStreamwindowCount=text.flatMap(newFlatMapFunction(){/****/privatestaticfinallongserialVersionUID=
乘风如水·2020-07-06 19:08

flink深入研究(11) DataStream类中flatMap函数调用流程

flatMap算子和map有些相似，输入都是数据流中的每个元素，与之不同的是，flatMap的输出可以是零个、一个或多个元素，它的输出元素放在了Collector类对象中，接下来我们进入到代码中来进行分析，我们使用示例如下：//计算数据DataStreamwindowCount=text.flatMap(newFlatMapFunction(){publicvoidflatMap(Stringva
乘风如水·2020-07-06 19:07

Flink运行时之客户端提交作业图-上

客户端提交作业图作业图（JobGraph）是Flink的运行时所能理解的作业表示，无论程序通过是DataStream还是DataSetAPI编写的，它们的JobGraph提交给JobManager以及之后的处理都将得到统一
vinoYang·2020-07-06 10:38

Kafka Streams: KStream和KTable

KStream数据流（datastream），即是一段顺序的，可以无限长，不断更新的数据集。数据流中比较常记录的是事件（streamofevents），这些事
表现力·2020-07-05 20:10

flink 异步io原理 访问hbase

具体的概念及使用方式可以看官方文档flink异步io原理先上一张原理图：再看关键代码：DataStream>resultStream=AsyncDataStream.unorderedWait(stream
熊猫玩转大数据·2020-07-04 23:18

flink学习笔记-table与sql简介、编程开发及DataSet、DataStream与Table相互转换

1：Flinktable以及SQL的基本介绍ApacheFlink具有两个关系型API：TableAPI和SQL，用于统一流和批处理。TableAPI是用于Scala和Java语言的查询API，允许以非常直观的方式组合关系运算符的查询，例如select，filter和join。FlinkSQL的支持是基于实现了SQL标准的ApacheCalcite。无论输入是批输入（DataSet）还是流输入（D
小猿学习笔记·2020-07-02 17:58

flink学习笔记-dataStream常用算子、自定义分区、自定义sink

flink当中对于实时处理，有很多的算子，我们可以来看看常用的算子主要有哪些，dataStream当中的算子主要分为三大类，Transformations：转换的算子，都是懒执行的，只有真正碰到sink
小猿学习笔记·2020-07-02 17:27

第一个Flink程序 词频统计

)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream
宁缺100·2020-07-02 16:19

Flink的数据流输入，转换，输出（章节二）

（章节二）程序部署本地执行//1.创建流计算执⾏环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//指定代码并行度//2.创建DataStream
策马出凉州·2020-07-02 14:05

flink api 常用算子的操作

flinkapi常用操作算子1.flink中算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑2.在flink中有多种不同的DataStream类型
一枚小兵·2020-07-02 11:41

Flink 中 DataStream / DataSet 与 Table 的相互转换

最近在使用FlinkTableAPI，将DataStream/DataSet与Table的相互转换方法进行总结。
magic_kid_2010·2020-07-02 11:21

Flink 中 Table API & SQL 介绍

本文开头附：Flink学习路线系列^_^1.TableAPI&SQL开头附上：FlinkTableAPI&SQL英文官方文档1.1背景Flink虽然已经拥有了强大的DataStream/DataSetAPI
扛麻袋的少年·2020-07-02 10:32

Flink常用算子Transformation介绍

本文开头附：Flink学习路线系列^_^1.算子介绍Flink中的算子，是对DataStream进行操作，返回一个新的DataStream的过程。
扛麻袋的少年·2020-07-02 10:59

Flink 原理与实现：Table & SQL API

转载来源：http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink已经拥有了强大的DataStream/DataSetAPI
尔笑惹千愁·2020-07-02 10:55

Flink从入门到项目实践

文章会对Flink中基本API如：DataSet、DataStream、Table、Sql和常用特性如：Time&Wi
Perkinl·2020-07-02 09:14

Flink DataStream中join

窗口Join（WindowJoin）windowjoin将共享相同key并位于同一窗口中的两个流的元素联接在一起。可以使用窗口分配器定义这些窗口，并根据两个流中的元素对其进行评估。然后将双方的元素传递到用户定义的JoinFunction或FlatJoinFunction，在此用户可以发出满足联接条件的结果。通用用法可总结如下：stream.join(otherStream).where().equ
Perkinl·2020-07-02 09:14
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他