datastream

flink学习之广播流与合流操作demo

使用dataStream.broadCast()广播流使用场景？一般用于动态加载配置项。
cclovezbf·2023-09-10 13:54

4. 广播变量

DataStream.broadcast()1.2FlinkBroadcast（广播变量）类似于Spark广播变量，广播的数据是Dataset，接收广播的也是Datasetimportorg.ap
爱做梦的鱼·2023-09-09 14:05

Flink DataStream

一、读取数据1.1、从内存中读取DataStreamSourceds=env.fromElements(1,2,3,4);DataStreamSourcesource=env.fromCollection(Arrays.asList(1,2,3));1.2、从文件中读取从文件中读取需要引入相应的POM依赖org.apache.flinkflink-connector-files1.17.0File
有人看我吗·2023-09-09 09:20

java poi读取.doc和.docx文件时获取图片与段落的对应关系

//doc格式ListwordParagraphs=newArrayListpictsList=newArrayList();//得到文档的数据流byte[]dataStream=doc.getDataStream
东本三月·2023-09-09 08:40

QCOM Sensor SEE 分析--数据流

数据交换框图借用网上的一张图，看下数据交互的方式：我们的sensor驱动先创建一个datastream,然后填充request通过send_request后request挂入datasteam的list
wn541200·2023-09-08 01:48

使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

通过内置的FlinkCDC，连接器可以直接将上游源的表模式和数据同步到ApacheDoris，这意味着用户不再需要编写DataStream程序或在Doris中预先创建映射表。
碧茂大数据·2023-09-07 21:39

Flink源码阅读之DataStream体系和Transformation体系

#DataStream体系&Transformation体系##DataStream体系###DataStream介绍DataStream是Flink数据流核心抽象，其上定义了数据流的一系列操作，同时也定义了与其他
余双_833c·2023-09-06 17:28

使用IntelliJ IDEA本地启动调试Flink流计算工程的2个异常解决

记录：471场景：使用IntelliJIDEA本地启动调试Flink流计算时，报错一：加载DataStream报错java.lang.ClassNotFoundException。
zhangbeizhen18·2023-09-06 12:17

用Google CDC来同步Cloud SQL的数据到Bigquery

Google提供了一个Datastream的服务，通过CDC(Capturedatachange)的方式，把Cloudsql数据库的改动，例如增删更新等操作，同步到B
gzroy·2023-09-06 08:43

pyflink中的状态ttl设置

#-*-coding:gbk-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportRuntimeContext
scan724·2023-09-03 13:41

Flink流批一体计算（19）：PyFlink DataStream API之State

过期数据的清理全量快照时进行清理增量数据清理在RocksDB压缩时清理OperatorState算子状态BroadcastState广播状态keyedstateKeyedDataStream使用keyedstate，首先需要为DataStream
victory0508·2023-08-29 09:46

《Flink学习笔记》——第五章 DataStream API

一个Flink程序，其实就是对DataStream的各种转换，代码基本可以由以下几部分构成：获取执行环境读取数据源定义对DataStream的转换操作输出触发程序执行获取执行环境和触发程序执行都属于对执行环境的操作
ZLin.Tang·2023-08-29 09:43

Flink流批一体计算（20）：DataStream API和Table API互转

目录举个例子连接器下载连接器（connector）和格式（format）jar包依赖管理如何使用连接器举个例子StreamExecutionEnvironment集成了DataStreamAPI，通过额外的函数扩展了TableEnvironment。下面代码演示两种API如何互转frompyflink.datastreamimportStreamExecutionEnvironmentfrompy
victory0508·2023-08-29 07:24

对象流与数据流

1.数据流数据流（DataStream）是用于读写基本数据类型和字符串的流。
零点呀·2023-08-29 02:09

Flink 源码解读(四) Flink DataSream 双流 Join 实现

stream.union(otherStream)1.2原理新建UnionTransformation，并且取左右DataStream的Transformation作为inp
王龙江_3c83·2023-08-27 04:13

利用DataStream API 进行欺诈检测

ApacheFlink提供了一个DataStreamAPI，用于构建健壮的、有状态的流应用程序。它提供了对状态和时间的细粒度控制，允许实现高级的事件驱动（event-driven）系统。在这里会逐步指导你学习如何使用Flink的DataStreamAPI构建一个有状态的流式应用程序。WhatAreYouBuilding?在数字时代，信用卡欺诈日益受到关注。犯罪分子通过诈骗或入侵不安全的系统窃取用户
独行者独行者·2023-08-26 11:43

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

hadoop组件一、踩坑记录1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream
每天都要加加油王得坤·2023-08-26 09:13

Flink流批一体计算（17）：PyFlink DataStream API之StreamExecutionEnvironment

目录StreamExecutionEnvironmentWatermarkwatermark策略简介使用Watermark策略内置水印生成器处理空闲数据源算子处理Watermark的方式创建DataStream
victory0508·2023-08-25 21:11

Flink流批一体计算（18）：PyFlink DataStream API之计算和Sink

目录1.在上节数据流上执行转换操作，或者使用sink将数据写入外部系统。2.FileSinkFileSinkFormatTypesRow-encodedFormatsBulk-encodedFormats桶分配滚动策略3.如何输出结果Print集合数据到客户端，execute_and_collect方法将收集数据到客户端内存将结果发送到DataStreamsinkconnector将结果发送到Ta
victory0508·2023-08-25 21:08

Flink 上下游算子并发之间的数据传递方式

DataStream上游算子向下游算子发送数据的不同方式：forward（默认）theoutputelementsareforwardedtothelocalsubtaskofthenextoperation
Bravo_z·2023-08-25 16:48

Flink流批一体计算（16）：PyFlink DataStream API

目录概述PipelineDataflow代码示例WorldCount.py执行脚本WorldCount.py概述ApacheFlink提供了DataStreamAPI，用于构建健壮的、有状态的流式应用程序。它提供了对状态和时间细粒度控制，从而允许实现高级事件驱动系统。用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成。Stream是一个中间结果数据，而Tra
victory0508·2023-08-24 20:25

flink sql 知其所以然（十五）：改了改源码，实现了个 batch lookup join（附源码）

由此诞生了一个想法，以Redis维表为例，Redis支持pipeline批量访问模式，因此flinksqllookupjoin能不能按照DataStream方式一样，先攒一批数据，然后使用Redispipeline
程序员的隐秘角落·2023-08-24 15:30

9、Flink四大基石之Checkpoint容错机制详解及示例（checkpoint配置、重启策略、手动恢复checkpoint和savepoint）

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 22:00

5、Flink的source、transformations、sink的详细示例（三）-sink示例

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 08:36

1、Flink1.12.7或1.13.5详细介绍及本地安装部署、验证

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 08:06

5、Flink的source、transformations、sink的详细示例（二）-source和transformation示例

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 08:06

Spark vs Flink

对比项目SparkFlink抽象流式RDD的抽象，DStream独立的DataSet(批处理)和DataStream对象内存管理1.5版本开始用tungsten，精确控制内存，不再直接用Java的内存管理一直是自己管理内存语言
RocWay·2023-08-20 11:30

BLINK-DataStream开发

1、pom.xml注意：com.alibaba.flinkdatahub-connector0.1-SNAPSHOTjar-with-dependencies此依赖需要手动加载到maven仓库，具体方式参见：读取DataHub数据示例-实时计算Flink版-阿里云也可以参考本人小记：Blink-DataHubconnectorMaven依赖转化_大数据00的博客-CSDN博客4.0.0com.al
大数据00·2023-08-19 05:14

Flink学习笔记【巨详细！】（三）

Flink有非常灵活的分层API设计，其中的核心层就是DataStream/DataSetAPI。由于新版本已经实现了流批一体，Data
水花还在漂移·2023-08-18 06:15

Flink学习笔记(四)

Flink(2020版)的学习,Flink版本1.10目录TableAPI与SQL基本程序结构表环境配置创建表表的查询表的输出读写Kafka更新模式输出到ES输出到MySql表和流的转换Table转换成DataStream
langzitianya·2023-08-18 06:14

【Flink小试】Flink CDC DataStream API监听MySQL动态发往Kafka Topic

[toc]一、背景业务背景:MySQL增量数据实时更新同步到Kafka中供下游使用查看了一下FlinkCDC的官方文档，其中Features的描述中提到了SQL和DataStreamAPI不同的支持程度。Features1.Supportsreadingdatabasesnapshotandcontinuestoreadbinlogswithexactly-onceprocessingevenfa
fantasticMao·2023-08-17 08:58

flink cdc数据同步，DataStream方式和SQL方式的简单使用

目录一、flinkcdc介绍1、什么是flinkcdc2、flinkcdc能用来做什么3、flinkcdc的优点二、flinkcdc基础使用1、使用flinkcdc读取txt文本数据2、DataStream
xiaobug呀·2023-08-10 18:26

基于Flink SQL CDC Mysql to Mysql数据同步

基于FlinkSQLCDCMysqltoMysql数据同步FlinkCDC有两种方式同步数据库：一种是通过FlinkSQL直接输入两表数据库映射进行数据同步，缺点是只能单表进行同步；一种是通过DataStream
大可iii·2023-08-10 18:24

4、如何在flink任务中读取外部数据源（DataStream API）

目录1.前言1.1加载数据源的方式1.2数据源的类型1.3Flink中的数据类型(TypeInformation)2.从集合中读取数据3.从文件中读取数据3.1readTextFile3.2readFile4.从Socket中读取数据5.从Kafka中读取数据6.从DataGen中读取数据7.自定义数据源7.1自定义非并行数据源7.2自定义并行数据源7.3使用自定义数据源读取MySQL1.前言Fl
广阔天地大有可为·2023-08-10 05:31

4.1、Flink任务怎样读取集合中的数据

1、API说明非并行数据源：deffromElements[T:TypeInformation](data:T*):DataStream[T]deffromCollection[T:TypeInformation
广阔天地大有可为·2023-08-10 05:54

Flink-串讲面试题

2.开发流程先获取执行环境env，然后添加source数据源，转换成datastream，然后使用各种算子进行计算，使用sink算子指定输出的目的地，最后调用execute方法执行。
青云游子·2023-08-09 01:31

大数据-玩转数据-Flink-Transform（上）

一、Transform转换算子可以把一个或多个DataStream转成一个新的DataStream.程序可以把多个复杂的转换组合成复杂的数据流拓扑.二、基本转换算子2.1、map（映射）将数据流中的数据进行转换
人猿宇宙·2023-08-08 17:31

3.核心抽象

3.1环境对象StreamExecutionEnvironment是Flink应用开发时的概念，表示流计算作业的执行环境，是作业开发的入口、数据源接口、生成和转换DataStream的接口、数据Sink
StephenYYYou·2023-08-07 23:19

2.Flink应用

2.1数据流DataStream：DataStream是Flink数据流的核心抽象，其上定义了对数据流的一系列操作DataStreamSource：DataStreamSource是DataStream
StephenYYYou·2023-08-07 00:19

FlinkKafkaConsumer＜＞ 在 Flink 1.17 中移除

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/datastream/kafka/
今天我牙疼·2023-08-05 14:55

Flink实时写入Mysql数据

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.common.typeinfo.BasicTypeInfo;importorg.apache.flink.streaming.api.datastream.DataStream
Appreciate(欣赏)·2023-08-04 15:10

FlinkCDC实时监控Mysql

importcom.alibaba.ververica.cdc.debezium.DebeziumSourceFunction;importorg.apache.flink.streaming.api.datastream.DataStream
Appreciate(欣赏)·2023-08-04 15:10

flink旁路输出

旁路输出在Flink中叫作SideOutput，用途类似于DataStream#split，本质上是一个数据流的切分行为，按照条件将DataStream切分为多个子数据流，子数据流叫作旁路输出数据流，每个旁路输出数据流可以有自己的下游处理逻辑旁路输出在
Appreciate(欣赏)·2023-08-04 15:10

Flink DataStream API （十一）Flink 输出到文件

文章目录输出到文件Sink在Flink中代表了将结果数据收集起来、输出到外部的意思，所以我们这里统一把它直观地叫作“输出算子”。之前我们一直在使用的print方法其实就是一种Sink，它表示将数据流写入标准控制台打印输出。查看源码可以发现，print方法返回的就是一个DataStreamSink。publicDataStreamSinkprint(StringsinkIdentifier){Pri
Alienware^·2023-08-04 09:13

Flink DataStream API详解

DataStreamAPI参考：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/datastream_api.htmlDataSourcesSource
LJiaWang·2023-08-03 11:26

Flink State 和 Fault Tolerance详解

有状态操作或者操作算子在处理DataStream的元素或者事件的时候需要存储计算的中间状态，这就使得状态在整个Flink的精细化计算中有着非常重要的地位：记录数据从某一个过去时间点到当前时间的状态信息。
LJiaWang·2023-08-03 11:26

Flink（二十二）Flink 的table api与sql之创建表的DDL

、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-02 06:01

Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

StructuredStreaming采用了不同于SparkStreaming、Flink这类DataStream的角度来处理流数据。
零度沸腾_yjz·2023-08-01 03:22

Flink的DataStream API的使用------源算子（Source）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、Flink的DataStreamAPI的使用------执行环境（ExecutionEnvironment）二、Flink的DataStreamAPI的使用------源算子（Source）1、准备工作2、读取有界流数据2.1、从文件读取数据2.2、从集合中读取数据2.3、从Socket
BrotherXu·2023-07-31 08:47

Flink-DataStream API介绍(源算子、转换算子、输出算子)

文章目录DataStreamAPI（基础篇）Flink支持的数据类型执行环境（ExecutionEnvironment）创建执行环境执行模式(ExecutionMode)触发程序执行源算子准备工作从集合中读取数据从文件读取数据从Socket读取数据从Kafka读取数据自定义Source转换算子（Transformation）映射(map)过滤(filter)扁平映射(flatMap)聚合算子（Ag
迷雾总会解·2023-07-31 08:46
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他