DataStream

GCP设置Proxy来连接Cloud SQL

在之前的文章用GoogleCDC来同步CloudSQL的数据到Bigquery_gzroy的博客-CSDN博客中，我通过在一个VM上设置反向代理的方式，使得Datastream可以通过私用连接连到CloudSQL
gzroy·2023-09-16 18:07

flink连接kafka报：org.apache.kafka.common.errors.TimeoutException

importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.streaming.api.datastream.DataStream
恬毅·2023-09-15 05:02

【Flink】 FlinkCDC读取Mysql（ DataStream 方式）（带完整源码，直接可使用）

简介：FlinkCDC读取Mysql数据源，程序中使用了自定义反序列化器，完整的Flink结构，开箱即用。本工程提供1、项目源码及详细注释，简单修改即可用在实际生产代码2、成功编译截图3、自己编译过程中可能出现的问题4、mysql建表语句及测试数据5、修复FlinkCDC读取Mysql数据时间戳差8小时问题6、自定义反序列化器让FlinkCDC读取和后续的处理更方便一、成功编译成功信息如下二、自己
一杯咖啡半杯糖·2023-09-15 03:33

5、flink任务中常用的转换算子（Transformation）

1、什么是Flink中的转换算子在使用FlinkDataStreamAPI开发流式计算任务时，可以将一个或多个DataStream转换成新的DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑图
广阔天地大有可为·2023-09-14 07:38

Flink CDC-Oracle CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表

文章目录OracleCDC配置（Non-CDBdatabase）第一步:开启归档日志第二步:创建Tablespace表空间第三步:创建用户并授予相应权限OracleCDCDataStreamAPI实现1.定义OracleSource2.数据处理3.Sink到MySQL参考OracleCDC配置（Non-CDBdatabase）第一步:开启归档日志使用sysdba角色登录到Oracle数据库确保Or
aof_·2023-09-14 01:25

Flink CDC-SQL Server CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表

文章目录SQLServerCDC配置第一步：启用指定数据库的CDC功能第二步：创建数据库角色第三步：创建文件组&文件第四步：启用指定表的CDC功能SQLServerCDCDataStreamAPI实现1.定义SqlServerSource2.数据处理3.Sink到MySQL参考SQLServerCDC配置第一步：启用指定数据库的CDC功能查看SQLServer是否已启用CDC功能--返回1表示已启
aof_·2023-09-14 01:24

Flink DataStream 体系

在Flink中使用DataStream表示数据流，DataStream是一种逻
Shockang·2023-09-12 09:58

【实战-06】正确设置flink参数，彻底站起来

参数宝典如何正确设置参数flinkTable模式下的参数Table模式下参数类相关DataStream模式下怎么设置参数？
笔生花·2023-09-12 07:11

Flink CDC-MySQL CDC配置及DataStream API实现代码...可实现监控采集多个数据库的多个表

MySQLCDC配置第一步:启用binlog1.检查MySQL的binlog是否已启用showvariableslike'%log_bin%';2.若未启用binlog打开MySQL配置文件my.cnf(MySQL安装目录的etc文件夹下)找到[mysqld]部分，添加如下配置log-bin=mysql-bin#指定二进制日志文件的名称前缀server-id=1#唯一标识MySQL服务器的数字ex
aof_·2023-09-12 00:49

flink学习之广播流与合流操作demo

使用dataStream.broadCast()广播流使用场景？一般用于动态加载配置项。
cclovezbf·2023-09-10 13:54

4. 广播变量

DataStream.broadcast()1.2FlinkBroadcast（广播变量）类似于Spark广播变量，广播的数据是Dataset，接收广播的也是Datasetimportorg.ap
爱做梦的鱼·2023-09-09 14:05

Flink DataStream

一、读取数据1.1、从内存中读取DataStreamSourceds=env.fromElements(1,2,3,4);DataStreamSourcesource=env.fromCollection(Arrays.asList(1,2,3));1.2、从文件中读取从文件中读取需要引入相应的POM依赖org.apache.flinkflink-connector-files1.17.0File
有人看我吗·2023-09-09 09:20

java poi读取.doc和.docx文件时获取图片与段落的对应关系

//doc格式ListwordParagraphs=newArrayListpictsList=newArrayList();//得到文档的数据流byte[]dataStream=doc.getDataStream
东本三月·2023-09-09 08:40

QCOM Sensor SEE 分析--数据流

数据交换框图借用网上的一张图，看下数据交互的方式：我们的sensor驱动先创建一个datastream,然后填充request通过send_request后request挂入datasteam的list
wn541200·2023-09-08 01:48

使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

通过内置的FlinkCDC，连接器可以直接将上游源的表模式和数据同步到ApacheDoris，这意味着用户不再需要编写DataStream程序或在Doris中预先创建映射表。
碧茂大数据·2023-09-07 21:39

Flink源码阅读之DataStream体系和Transformation体系

#DataStream体系&Transformation体系##DataStream体系###DataStream介绍DataStream是Flink数据流核心抽象，其上定义了数据流的一系列操作，同时也定义了与其他
余双_833c·2023-09-06 17:28

使用IntelliJ IDEA本地启动调试Flink流计算工程的2个异常解决

记录：471场景：使用IntelliJIDEA本地启动调试Flink流计算时，报错一：加载DataStream报错java.lang.ClassNotFoundException。
zhangbeizhen18·2023-09-06 12:17

用Google CDC来同步Cloud SQL的数据到Bigquery

Google提供了一个Datastream的服务，通过CDC(Capturedatachange)的方式，把Cloudsql数据库的改动，例如增删更新等操作，同步到B
gzroy·2023-09-06 08:43

pyflink中的状态ttl设置

#-*-coding:gbk-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportRuntimeContext
scan724·2023-09-03 13:41

Flink流批一体计算（19）：PyFlink DataStream API之State

过期数据的清理全量快照时进行清理增量数据清理在RocksDB压缩时清理OperatorState算子状态BroadcastState广播状态keyedstateKeyedDataStream使用keyedstate，首先需要为DataStream
victory0508·2023-08-29 09:46

《Flink学习笔记》——第五章 DataStream API

一个Flink程序，其实就是对DataStream的各种转换，代码基本可以由以下几部分构成：获取执行环境读取数据源定义对DataStream的转换操作输出触发程序执行获取执行环境和触发程序执行都属于对执行环境的操作
ZLin.Tang·2023-08-29 09:43

Flink流批一体计算（20）：DataStream API和Table API互转

目录举个例子连接器下载连接器（connector）和格式（format）jar包依赖管理如何使用连接器举个例子StreamExecutionEnvironment集成了DataStreamAPI，通过额外的函数扩展了TableEnvironment。下面代码演示两种API如何互转frompyflink.datastreamimportStreamExecutionEnvironmentfrompy
victory0508·2023-08-29 07:24

对象流与数据流

1.数据流数据流（DataStream）是用于读写基本数据类型和字符串的流。
零点呀·2023-08-29 02:09

Flink 源码解读(四) Flink DataSream 双流 Join 实现

stream.union(otherStream)1.2原理新建UnionTransformation，并且取左右DataStream的Transformation作为inp
王龙江_3c83·2023-08-27 04:13

利用DataStream API 进行欺诈检测

ApacheFlink提供了一个DataStreamAPI，用于构建健壮的、有状态的流应用程序。它提供了对状态和时间的细粒度控制，允许实现高级的事件驱动（event-driven）系统。在这里会逐步指导你学习如何使用Flink的DataStreamAPI构建一个有状态的流式应用程序。WhatAreYouBuilding?在数字时代，信用卡欺诈日益受到关注。犯罪分子通过诈骗或入侵不安全的系统窃取用户
独行者独行者·2023-08-26 11:43

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

hadoop组件一、踩坑记录1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream
每天都要加加油王得坤·2023-08-26 09:13

Flink流批一体计算（17）：PyFlink DataStream API之StreamExecutionEnvironment

目录StreamExecutionEnvironmentWatermarkwatermark策略简介使用Watermark策略内置水印生成器处理空闲数据源算子处理Watermark的方式创建DataStream
victory0508·2023-08-25 21:11

Flink流批一体计算（18）：PyFlink DataStream API之计算和Sink

目录1.在上节数据流上执行转换操作，或者使用sink将数据写入外部系统。2.FileSinkFileSinkFormatTypesRow-encodedFormatsBulk-encodedFormats桶分配滚动策略3.如何输出结果Print集合数据到客户端，execute_and_collect方法将收集数据到客户端内存将结果发送到DataStreamsinkconnector将结果发送到Ta
victory0508·2023-08-25 21:08

Flink 上下游算子并发之间的数据传递方式

DataStream上游算子向下游算子发送数据的不同方式：forward（默认）theoutputelementsareforwardedtothelocalsubtaskofthenextoperation
Bravo_z·2023-08-25 16:48

Flink流批一体计算（16）：PyFlink DataStream API

目录概述PipelineDataflow代码示例WorldCount.py执行脚本WorldCount.py概述ApacheFlink提供了DataStreamAPI，用于构建健壮的、有状态的流式应用程序。它提供了对状态和时间细粒度控制，从而允许实现高级事件驱动系统。用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成。Stream是一个中间结果数据，而Tra
victory0508·2023-08-24 20:25

flink sql 知其所以然（十五）：改了改源码，实现了个 batch lookup join（附源码）

由此诞生了一个想法，以Redis维表为例，Redis支持pipeline批量访问模式，因此flinksqllookupjoin能不能按照DataStream方式一样，先攒一批数据，然后使用Redispipeline
程序员的隐秘角落·2023-08-24 15:30

9、Flink四大基石之Checkpoint容错机制详解及示例（checkpoint配置、重启策略、手动恢复checkpoint和savepoint）

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 22:00

5、Flink的source、transformations、sink的详细示例（三）-sink示例

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 08:36

1、Flink1.12.7或1.13.5详细介绍及本地安装部署、验证

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 08:06

5、Flink的source、transformations、sink的详细示例（二）-source和transformation示例

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-08-22 08:06

Spark vs Flink

对比项目SparkFlink抽象流式RDD的抽象，DStream独立的DataSet(批处理)和DataStream对象内存管理1.5版本开始用tungsten，精确控制内存，不再直接用Java的内存管理一直是自己管理内存语言
RocWay·2023-08-20 11:30

BLINK-DataStream开发

1、pom.xml注意：com.alibaba.flinkdatahub-connector0.1-SNAPSHOTjar-with-dependencies此依赖需要手动加载到maven仓库，具体方式参见：读取DataHub数据示例-实时计算Flink版-阿里云也可以参考本人小记：Blink-DataHubconnectorMaven依赖转化_大数据00的博客-CSDN博客4.0.0com.al
大数据00·2023-08-19 05:14

Flink学习笔记【巨详细！】（三）

Flink有非常灵活的分层API设计，其中的核心层就是DataStream/DataSetAPI。由于新版本已经实现了流批一体，Data
水花还在漂移·2023-08-18 06:15

Flink学习笔记(四)

Flink(2020版)的学习,Flink版本1.10目录TableAPI与SQL基本程序结构表环境配置创建表表的查询表的输出读写Kafka更新模式输出到ES输出到MySql表和流的转换Table转换成DataStream
langzitianya·2023-08-18 06:14

【Flink小试】Flink CDC DataStream API监听MySQL动态发往Kafka Topic

[toc]一、背景业务背景:MySQL增量数据实时更新同步到Kafka中供下游使用查看了一下FlinkCDC的官方文档，其中Features的描述中提到了SQL和DataStreamAPI不同的支持程度。Features1.Supportsreadingdatabasesnapshotandcontinuestoreadbinlogswithexactly-onceprocessingevenfa
fantasticMao·2023-08-17 08:58

flink cdc数据同步，DataStream方式和SQL方式的简单使用

目录一、flinkcdc介绍1、什么是flinkcdc2、flinkcdc能用来做什么3、flinkcdc的优点二、flinkcdc基础使用1、使用flinkcdc读取txt文本数据2、DataStream
xiaobug呀·2023-08-10 18:26

基于Flink SQL CDC Mysql to Mysql数据同步

基于FlinkSQLCDCMysqltoMysql数据同步FlinkCDC有两种方式同步数据库：一种是通过FlinkSQL直接输入两表数据库映射进行数据同步，缺点是只能单表进行同步；一种是通过DataStream
大可iii·2023-08-10 18:24

4、如何在flink任务中读取外部数据源（DataStream API）

目录1.前言1.1加载数据源的方式1.2数据源的类型1.3Flink中的数据类型(TypeInformation)2.从集合中读取数据3.从文件中读取数据3.1readTextFile3.2readFile4.从Socket中读取数据5.从Kafka中读取数据6.从DataGen中读取数据7.自定义数据源7.1自定义非并行数据源7.2自定义并行数据源7.3使用自定义数据源读取MySQL1.前言Fl
广阔天地大有可为·2023-08-10 05:31

4.1、Flink任务怎样读取集合中的数据

1、API说明非并行数据源：deffromElements[T:TypeInformation](data:T*):DataStream[T]deffromCollection[T:TypeInformation
广阔天地大有可为·2023-08-10 05:54

Flink-串讲面试题

2.开发流程先获取执行环境env，然后添加source数据源，转换成datastream，然后使用各种算子进行计算，使用sink算子指定输出的目的地，最后调用execute方法执行。
青云游子·2023-08-09 01:31

大数据-玩转数据-Flink-Transform（上）

一、Transform转换算子可以把一个或多个DataStream转成一个新的DataStream.程序可以把多个复杂的转换组合成复杂的数据流拓扑.二、基本转换算子2.1、map（映射）将数据流中的数据进行转换
人猿宇宙·2023-08-08 17:31

3.核心抽象

3.1环境对象StreamExecutionEnvironment是Flink应用开发时的概念，表示流计算作业的执行环境，是作业开发的入口、数据源接口、生成和转换DataStream的接口、数据Sink
StephenYYYou·2023-08-07 23:19

2.Flink应用

2.1数据流DataStream：DataStream是Flink数据流的核心抽象，其上定义了对数据流的一系列操作DataStreamSource：DataStreamSource是DataStream
StephenYYYou·2023-08-07 00:19

FlinkKafkaConsumer＜＞ 在 Flink 1.17 中移除

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/datastream/kafka/
今天我牙疼·2023-08-05 14:55

Flink实时写入Mysql数据

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.common.typeinfo.BasicTypeInfo;importorg.apache.flink.streaming.api.datastream.DataStream
Appreciate(欣赏)·2023-08-04 15:10
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他