DataStream

flink table view datastream互转

caseclassouter(f1:String,f2:Inner)caseclassouterV1(f1:String,f2:Inner,f3:Int)caseclassInner(f3:String,f4:Int)测试代码packagecom.yy.table.convertimportorg.apache.flink.streaming.api.scala.StreamExecutionEn
Thomas2143·2024-01-05 06:48

RHEL 8 - CIS安全合规基线、SCAP、SSG和合规扫描、漏洞扫描

互联网安全中心SCAP安全内容自动化协议SCAPSecurityGuide-SSG安装SCAPSecurityGuide了解SCAPSecurityGuide中包含的内容用OpenSCAP进行CIS合规扫描查看DataStream
dawnsky.liu·2024-01-03 19:07

Flink 内容分享(十八)：基于Flink＋Iceberg构建企业数据湖实战

ApacheIceberg的优势ApacheIceberg经典业务场景应用ApacheIceberg的准备工作创建和使用CatalogIcebergDDL命令IcebergSQL查询IcebergSQL写入使用DataStream
之乎者也··2023-12-31 11:21

Flink版本更新汇总（1.14-1.18）

0、汇总========1.14.0========1.有界流支持Checkpoint；2.批执行模式支持DataStream和Table/SQL混合应用；3.新增HybridSource功能；4.新增缓冲区去膨胀功能
猫猫爱吃小鱼粮·2023-12-30 09:55

Flink DataStream 编程模型

‍都说IT今年很难，越是在这个时候越是要坚持，相信总能看到黎明与曙光。这不我准备整理一下教程，对自己也是一个学习、总结的过程，我相信待到经济复苏，IT仍然是热门。本文是我的第一篇付费文章，这是个开篇纵览，后面会深入讲解Flink理论与开发，不限于Flink这一个组件，后面也会有Spark、Clickhouse等等，代码也会配套同步到Gitee上面（Gitee地址见文末）。‍目录Flink架构流处理
大数据技术派·2023-12-30 09:54

Flink1.17实战教程（第二篇：DataStream API）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）文章目录系列文章目录1.执行环境（ExecutionEnvironment）1.1创建执行环境1.2执行模式（ExecutionMode）1.3触发程序执行2.源算子（Source）2.1准备工作2.2从集合中读取数据2.3从文件读取数据2.4从Socket读取数据2.
阿moments·2023-12-25 04:35

Flink系列之：使用Flink Mysql CDC基于Flink DataStream同步mysql数据到StarRocks数据库

Flink系列之：使用FlinkMysqlCDC基于FlinkDataStream同步mysql数据到StarRocks数据库一、相关技术博客二、pom.xml三、mysql表结构四、StarRocks数据库创建表五、序列化数据六、基于FlinkDataStream使用MysqlCDC采集Mysql数据库七、同步数据到StarRocks数据库八、使用FlinkCDC基于FlinkDataStrea
最笨的羊羊·2023-12-22 13:03

Flink 中的时间和窗口（时间语义、水位线）

时间语义1.1Flink中的时间语义1.2哪种时间语义更重要2.水位线（Watermark）2.1事件时间和窗口2.2什么是水位线2.3如何生成水位线2.4水位线的传递我们已经了解了基本API的用法，熟悉了DataStream
芝士雪豹.·2023-12-19 23:13

Flink 流处理流程 API详解

Flink：不同之处是面向数据本身的，会把DataStream抽象成一个本地集合，通过面向集合流的编程方式进行代码编写。两者没有好坏之分，Storm比较灵活自由。更好的控制。
程序猿进阶·2023-12-18 23:38

Linux基础命令 sftp命令的使用

SFTP（SecureFileTransferProtocol，安全文件传输协议）是一种基于可靠数据流（datastream），提供文件存取和管理的网络传输协议，与FTP协议相比，SFTP在客户端与服务器间提供了一种更为安全的文件传输方式
cqszpx·2023-12-18 08:09

Flink系列之：使用flink查询数据和插入数据

Table可以在后续的SQL和TableAPI查询中使用、转换为DataStream或写入TableSink。SQL和TableAPI查询可以无缝混合，并进行整体优化并转换为单个程序。
最笨的羊羊·2023-12-17 06:36

Elasticsearch的Snapshot and Restore（快照备份与恢复）

简介：Elasticsearch提供的Snapshotapi就是从正在运行的集群中获取备份用的，可以根据情况选择整个集群，也可以指定index和datastream。
大叶子不小·2023-12-15 22:14

48、Flink DataStream API 编程指南（3）- 完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:46

3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至on yarn运行

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:13

Flink基本转换算子map/filter/flatmap

我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现；返回值类型还是DataStream，不过泛型（流中的元素类型）可能改变。
Stephen6Yang·2023-12-15 03:01

Flink-源算子-读取数据的几种方式

Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（datasource），而读取数据的算子就是源算子（sourceoperator）。
Stephen6Yang·2023-12-14 16:04

Flink之流的转换

该方法的名字略有区别定时器编程TimeService:定时服务,可以用于注册定时器，删除定时器ontimer():定时器触发后会自动调用该方法，我们将需要完成的工作写到该方法中侧输出流分类processFunction:普通流DataStream
十七✧ᐦ̤·2023-12-14 16:34

Flink之DataStream API的转换算子

简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦，使用灵活匿名内部类:编码简单Lambda:编码简洁publicclassFlink02_FunctionImplement{publicstaticvoidmain(String[]args){//1.创建运行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExe
十七✧ᐦ̤·2023-12-07 00:13

Flink基础之DataStream API

流的合并union联合：被unioin的流中的数据类型必须一致connect连接：合并的两条流的数据类型可以不一致connec后，得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclassFlink09_UnionConnectStream{publicstaticvoidmai
十七✧ᐦ̤·2023-12-07 00:11

flink入门基础知识整理（持续更新）

目录1.入门概念1.1核心特点1.1.1批流数据1.1.2容错能力1.1.3高吞吐低延迟1.1.4大规模复杂计算1.1.5多平台部署2.API介绍2.1API层次2.2DataStream体系2.3数据读取
大胡在进步·2023-12-05 21:02

Flink入门之DataStream API及kafka消费者

DataStreamAPI主要流程：获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron
十七✧ᐦ̤·2023-12-05 21:00

48、Flink DataStream API 编程指南（2）- DataStream的source、transformation、sink、调试

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理
一瓢一瓢的饮 alanchan·2023-12-05 06:55

48、Flink DataStream API 编程指南（1）- DataStream 入门示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理
一瓢一瓢的饮 alanchan·2023-11-30 11:25

Flink-sql 计数窗口

importcom.wudl.flink.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming.api.datastream.DataStre
wudl5566·2023-11-30 04:18

Flink Flink中的合流

在代码中，我们只要基于DataStream直
文文鑫·2023-11-29 06:11

6、Flink四大基石之Window详解与详细示例（一）

Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-11-26 05:40

5、Flink窗口机制

1.1KeyedWindow1.2Non-KeyedWindow2WindowAssigner2.1TumblingWindow2.2SlidingWindow2.3SessionWindow2.4GlobalWindow3Trigger4Evictor5WindowFunction6window的实现7window源码分析1引言根据作用的数据流(DataStream
江城子v3·2023-11-26 05:40

Flink DataStream API （十）Flink 物理分区（Physical Partitioning）

文章目录随机分区（shuffle）轮询分区（Round-Robin）重缩放分区（rescale）广播（broadcast）全局分区（global）自定义分区（Custom）常见的物理分区策略有随机分配（Random）、轮询分配（Round-Robin）、重缩放（Rescale）和广播（Broadcast），下边我们分别来做了解。随机分区（shuffle）最简单的重分区方式就是直接“洗牌”。通过调用
Alienware^·2023-11-25 06:23

Flink的操作算子Operator

->DatasteamMapTakesoneelementandproducesoneelement.Amapfunctionthatdoublesthevaluesoftheinputstream:dataStream.map
人间小鲸鱼·2023-11-25 06:53

Flink 物理分区

dataStream.partitionCus
weixin_30449239·2023-11-25 06:21

Flink Flink中的分流

也就是基于一个DataStream，定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。
文文鑫·2023-11-25 06:43

Flink 常用物理分区算子(Physical Partitioning)

通过调用DataStream的.shuffl
文文鑫·2023-11-25 06:34

Flink运行wordcount——读写hdfs

importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStream
雷神乐乐·2023-11-24 15:05

(八）Flink DataStream API 编程指南 - 4 状态与容错 （中）

广播状态模式提供的API为了展示所提供的API，我们将从一个示例开始，然后再展示它们的全部功能。作为我们的运行示例，我们将使用这样的情况：我们有不同颜色和形状的对象流，并且我们想要找到遵循特定模式的相同颜色的对象对，例如矩形后面跟着三角形。我们假设这组有趣的模式会随着时间而演变。在此示例中，第一个流将包含Item具有一个Color和一个Shape属性的类型元素。另一个流将包含Rules.从Item
京河小蚁·2023-11-22 09:51

（八）Flink DataStream API 编程指南 - 4 状态与容错 （上）

KeyedDataStream如果你希望使用keyedstate，首先需要为DataStream指定key（主键）。这个主键用于状态分区（也会给数据流中的记录本身分区）。
京河小蚁·2023-11-22 09:21

（十六）Flink Datastream API 编程指南 Managing Execution

文章目录执行配置程序打包和分布式执行程序打包小结并行执行设置并行度Operator级别执行环境级别客户端级别系统级别设置最大并行度执行配置StreamExecutionEnvironment包含ExecutionConfig，它允许为运行时设置特定于作业的配置值。要更改影响所有作业的默认值，请参见配置。StreamExecutionEnvironmentenv=StreamExecutionEnv
京河小蚁·2023-11-22 09:21

FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

Flinkcdcsql的方式同步PG数据库在之前已经详细介绍过，但是有一个问题就是每个表需要占用一个slot，如果表比较多的情况用这种方法就不妥，于是我们开发了一套通用的PG数据库表同步工具。关键点：通过简单配置实现表数据实时同步，DDL表结构同步功能。完整的项目代码在我介绍完后放到git上，供大家参考纠正。配置文件介绍：只需要一个配置文件可以实现多个库多个表的实时同步，简单吧！！DDL数据同步的
lg4546·2023-11-22 08:59

Flink 使用JDBC connector 写入 Clickhouse

，包名为flink-jdbc.重构之后（1.11.0以及之后版本），包名为flink-connector-jdbc.Flink1.11.0以及之后版本需要采用flink-connector-jdbc+DataStream
chaos jin·2023-11-22 06:46

Flink DataStream API （十三）Flink 输出到 Redis

文章目录输出到Redis输出到RedisRedis是一个开源的内存式的数据存储，提供了像字符串（string）、哈希表（hash）、列表（list）、集合（set）、排序集合（sortedset）、位图（bitmap）、地理索引和流（stream）等一系列常用的数据结构。因为它运行速度快、支持的数据类型丰富，在实际项目中已经成为了架构优化必不可少的一员，一般用作数据库、缓存，也可以作为消息代理。F
Alienware^·2023-11-20 20:26

Flink的DataStream API的使用------输出算子（Sink）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、Flink的DataStreamAPI的使用------执行环境（ExecutionEnvironment）二、Flink的DataStreamAPI的使用------源算子（Source）三、Flink的DataStreamAPI的使用------转换算子（Transformation
BrotherXu·2023-11-20 20:25

（八）Flink DataStream API 编程指南 - 3 事件时间

在本节中，你将了解Flink中用于处理事件时间的时间戳和watermark相关的API。有关事件时间，处理时间和摄取时间的介绍，请参阅事件时间概览小节。Watermark策略简介为了使用事件时间语义，Flink应用程序需要知道事件时间戳对应的字段，意味着数据流中的每个元素都需要拥有可分配的事件时间戳。其通常通过使用TimestampAssignerAPI从元素中的某个字段去访问/提取时间戳。时间戳
京河小蚁·2023-11-20 20:53

Flink1.17学习笔记（自用）

用于对无界和有界数据进行有状态计算Flink和Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活状态有无流式SQL有无Dataset批处理已过时，使用Datastream
艾卡西亚暴雨o·2023-11-20 20:52

Flink1.17 DataStream API

目录一.执行环境（ExecutionEnvironment）1.1创建执行环境1.2执行模式1.3触发程序执行二.源算子（Source）2.1从集合中读取数据2.2从文件读取数据2.3从RabbitMQ中读取数据2.4从数据生成器读取数据2.5Flink支持的数据类型2.5.1Flink的类型系统2.5.2Flink支持的数据类型2.5.3类型提示（TypeHints）三.转换算子（Transfo
后端小菜鸡·2023-11-20 20:48

21、Flink 的table API与DataStream API 集成（完整版）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理
一瓢一瓢的饮 alanchan·2023-11-20 13:47

1.18.5.流式概念、动态表（Dynamic Table）、DataStream上的关系查询、动态表 & 连续查询(Continuous Query)、在流上定义表、处理时间

1.18.5.流式概念1.18.5.1.动态表（DynamicTable）1.18.5.1.1.DataStream上的关系查询1.18.5.1.2.动态表&连续查询(ContinuousQuery)1.18.5.1.3
涂作权的博客·2023-11-19 01:23

Flink流处理中的表

将一个Table转换成DataStream时，有仅插入流（Insert-Only-Streams）、更新日志流（ChangelogStreams）两种方式，具体使用哪种方式取决于表中是否存在更新操作文章目录动态表和持续查询
未来影子·2023-11-19 01:47

flink的window和windowAll的区别

更是如此，本文就来梳理下他们的区别和常见用法window和windowAll的区别window是KeyStream数据流的方法，其并行度是任意的，也就是最大可以和分组key的数量相同windowAll是DataStream
lixia0417mul2·2023-11-18 18:20

Flink教程(4) DataStream 常用算子（上）

DataStream常用算子（上）一、前言二、Map2.1JavaLambda的Map2.2Flink的Map三、FlatMap3.1JavaLambda的FlatMap3.2Flink的FlatMap
瑟王·2023-11-15 12:33

Flink DataStream常用算子

Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。
Mr.梧桐·2023-11-15 12:32

（十）Flink Datastream API 编程指南 算子-1 （转换算子、物理分区、任务链、资源组 、算子和作业）等基本介绍

概览操作符将一个或多个DataStream转换为一个新的DataStream。程序可以将多个转换组合成复杂的数据流拓扑。
京河小蚁·2023-11-15 12:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他