#flink合流

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块
小螺旋丸·2024-01-03 10:43

Flink-【时间语义、窗口、水位线】

1.时间语义1.1事件时间：数据产生的事件（机器时间）；1.2处理时间：数据处理的时间（系统时间）。：可乐可乐的生产日期=事件时间（可乐产生的时间）；可乐被喝的时间=处理时间（可乐被处理【喝掉=处理】的时间）。机器时间：可能不准确（例如：A可乐厂的时钟比较慢，B可乐厂的时钟比较快，但实际上B产生可乐的时间比A产生可乐的时间慢，却被先处理了）系统时间：相对准确（处理机器设置的时间，一般无误【当然分布
可乐manman·2024-01-03 09:58

Flink的检查点算法

Flink的恢复机制基于应用状态的一致检查点。在有状态的流应用中，一个一致性检查点是：在所有tasks处理了一个（相同的）输入后，当前时间点每个task的state副本。
XueminXu·2024-01-03 09:52

Flink实时电商数仓（十）

common模块回顾appBaseApp:作为其他子模块中使用Flink-StreamAPI的父类，实现了StreamAPI中的通用逻辑，在其他子模块中只需编写关于数据处理的核心逻辑。
十七✧ᐦ̤·2024-01-03 09:50

如何在Flink SQL中轻松实现高效数据处理：最佳实践揭秘Protobuf自定义格式

目录FlinkSQLProtobufFormat设计要点1.引言2.为什么需要自定义Protobuf格式3.自定义Protobuf格式的
数据与后端架构提升之路·2024-01-03 00:39

Flink学习-处理函数

简介处理函数是Flink底层的函数，工作中通常用来做一些更复杂的业务处理，处理函数分好几种，主要包括基本处理函数，keyed处理函数，window处理函数。
demon7552003·2024-01-02 17:29

【flink番外篇】9、Flink Table API 支持的操作示例（11）- Group Windows（tumbling、sliding和session）操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:22

【flink番外篇】9、Flink Table API 支持的操作示例（8）- 时态表的join（scala版本）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:21

【flink番外篇】9、Flink Table API 支持的操作示例（10）- 表的OrderBy、Offset 和 Fetch、insert操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:21

【flink番外篇】9、Flink Table API 支持的操作示例（9）- 表的union、unionall、intersect、intersectall、minus、minusall和in的操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:49

Flink自定义MySQLSource读取MySQL数据

先查看数据库连接池实现MySQL连接池MySQL表student的实体采用caseclass定义objectDomain{caseclassAccess(time:Long,domain:String,traffic:Long)caseclassStudent(id:Int,name:String,age:Int)}实现RichSourceFunction来自定义MySQLSourcepackag
喵星人ZC·2024-01-02 10:51

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-02 08:59

最容易出错的 Hive Sql 详解

前言在进行数仓搭建和数据分析时最常用的就是sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括hive，spark，flink等，所以sql在大数据领域有着不可替代的作用
奔跑者-辉·2024-01-02 07:30

Flink 的window机制(二) 窗口函数

WindowFunction前面指定了窗口的分配器,接着我们需要来指定如何计算,这事由windowfunction来负责.一旦窗口关闭,windowfunction去计算处理窗口中的每个元素.windowfunction可以是ReduceFunction,AggregateFunction,orProcessWindowFunction中的任意一种.ReduceFunction,Aggregate
万事万物·2024-01-02 05:34

Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.YarnHA配置2.启动测试</
IT贫道·2024-01-02 04:42

Apache Flink连载（二十二）：Flink HA - Flink基于Standalone HA

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录Flink基于StandaloneHA1.StandaloneHA配置2.启动测试Flink基于Standalon
IT贫道·2024-01-02 04:11

flink 连接 hdfs 读取文件配置

flink连接hdfs读取文件配置hadoop版本为2.7.3window系统本地运行flink程序读取hdfs文件配置1，请导入hadoop和httpclient的包org.apache.flinkflink-hadoop-fs
eagle隼·2024-01-02 02:06

PiflowX组件-JDBCRead

计算引擎flink有界性ScanSource:BoundedLookupSource:SyncMode组件分组Jdbc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子
暗影八度·2024-01-01 23:36

PiflowX组件-ReadFromUpsertKafka

计算引擎flink有界性Unbounded组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”
暗影八度·2024-01-01 23:06

PiflowX组件-WriteToUpsertKafka

计算引擎flink有界性StreamingUpsertMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST
暗影八度·2024-01-01 23:05

PiflowX组件-JDBCWrite

计算引擎flink有界性Sink:BatchSink:StreamingAppend&UpsertMode组件分组Jdbc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子
暗影八度·2024-01-01 23:01

Flink学习-时间和窗口

在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。时间语义事件时间（EventTime）：每个事件在对应的设备上发生的时间，也就是数据生成的时间。处理时间（ProcessingTime）：执行处理操作的机器的系统时间摄取时间（IngestionTim
demon7552003·2024-01-01 22:04

20200912 001_Flink-Flink简介

20200912001_Flink-Flink简介第一章Flink简介主要内容•Flink是什么•为什么要用Flink•流处理的发展和演变•Flink的主要特点•FlinkvsSparkStreaming1.1
强哥带你飞·2024-01-01 13:02

flink有什么优势值得大家这么热衷

flink通过实现了GoogleDataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。
KK架构·2024-01-01 13:32

Flink的特点以及优势

Flink的优势、数据量&吞吐量&延迟性Flink的流处理引擎只需要很少配置就能实现高吞吐率和低延迟。2、支持EventTime和乱序事件Flink支持了流处理和EventTime语义的窗口机制。
DemonHunter211·2024-01-01 13:32

Flink的优势

总之，实时计算的业务需求，一般都会用Flink进行开发。
有味青年·2024-01-01 13:01

如何看待唐诗宋词对中华文学的影响，以及对世界有什么影响？

别问我为什么只说诗，因为咱们只要不把思维局限在中学课本，稍微懂一点诗词史，就会知道诗词同源、诗词分流、诗词合流这些理论。诗、词、曲这些分门别类，其实都是诗在后世的不同演化。我们统称为“古诗”
梧桐树边羽·2024-01-01 13:58

相比于其他流处理技术，Flink的优点在哪？

ApacheFlink是一个开源的流处理框架，用于在高吞吐量和低延迟的情况下进行大规模数据流的处理。
KevinAha·2024-01-01 13:31

Flink Job 执行流程

FlinkOnYarn模式基于Yarn层面的架构类似SparkonYarn模式，都是由Client提交App到RM上面去运行，然后RM分配第一个container去运行AM，然后由AM去负责资源的监督和管理
程序猿进阶·2024-01-01 12:24

聊聊flink Table的Joins

序本文主要研究一下flinkTable的Joins实例InnerJoinTableleft=tableEnv.fromDataSet(ds1,"a,b,c");Tableright=tableEnv.fromDataSet
go4it·2024-01-01 12:42

遗传算法解混合流水车间调度问题（注释很多）JavaScript

题目描述：n个工件要在c台机器上加工，每个工件需要经过c道工序，每道工序要求不同的机器，n个工件在c台机器上的加工顺序相同。确定n个工件在每台机器上的最优加工顺序，使最大流程时间达到最小。测试问题参数取值：工件数量n=6，工序数量c=3，每道工序并行机器数量m=2。目录1、遗传算法一般流程2、编码3、初始化种群4、评估个体适应度5、选择6、交叉7、变异8、完整代码1、遗传算法一般流程编码指将最终结
世幻水·2024-01-01 11:39

flink run -C 与 -c

-C可用来添加外部依赖jar包，如自己开发的工具jar包，一个个添加，不能是目录-c指定main()所在的类正确用法flinkrun-d\-C"file:///DSJ/flink-1.11.1/ep/xxxx1
luohaifang·2024-01-01 11:29

Flink学习排查问题---Flink部署web端无法连接问题

项目场景：Flink部署web端无法连接问题问题描述：电脑：win10虚拟机：centos7flink：1.10.1在默认配置环境下，正常启动Flink显示启动成功后，访问localhost:8081无法正常访问但是输入网站
文耳_lzl·2024-01-01 11:29

Flink Kafka[输入/输出] Connector

本章重点介绍生产环境中最常用到的Flinkkafkaconnector。使用Flink的同学，一定会很熟悉kafka，它是一个分布式的、分区的、多副本的、支持高吞吐的、发布订阅消息系统。
程序猿进阶·2024-01-01 11:58

Flink｜《Flink 官方文档 - 概念透析 - Flink 架构》学习笔记

学习文档：概念透析-Flink架构学习笔记如下：Flink集群剖析客户端（Client）：准备数据流程序并发送给JobManager（不是Flink执行程序的进程）JobManager：协调Flink应用程序的分布式执行
长行·2024-01-01 11:28

CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败

CDH6.3.2集成flink1.18zookeeper版本不匹配Flink-yarn不能正常启动，而在CHDWeb页面，flink日志报错提示不明确，不能定位具体错误。
qq_21480329·2024-01-01 10:05

Flink整合面向用户的数据流SDKs/API(Flink关于弃用Dataset API的论述)

动机Flink提供了三种主要的sdk/API来编写程序:TableAPI/SQL、DataStreamAPI和DataSetAPI。
另存為·2024-01-01 05:28

Flink 内容分享(二十八)：深度解析 Flink 是如何管理好内存的？

目录前言数据对象直接放在堆内存中Flink是怎么做的?Flink如何分配内存?Flink如何序列化对象？Flink如何对二进制数据进行操作？
之乎者也··2024-01-01 05:23

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。
之乎者也··2024-01-01 05:52

[Flink] Flink的waterMark的通俗理解

导读Flink为实时计算提供了三种时间，即事件时间（eventtime）、摄入时间（ingestiontime）和处理时间（processingtime）。
延眠万里·2024-01-01 05:37

Java程序员：世界有三个伟大的发明「火、轮子、kafka」

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：Java程序员：世界有三个伟大的发明「火、轮子、kafka」A
Java旺·2024-01-01 04:17

音视频直播场景下不同的观众如何获取合流布局中各主播的位置

主要思路步骤：1、设置合流布局的操作由主播完成，当主播合流布局设置成功后，可以将各个主播在合流布局中的位置尺寸存放在房间的KV属性中；2、主播每次设置合流都去更新这个KV并通知给房间内的其他人，观众获取到
rongcloud2019·2023-12-31 23:34

Flink 内容分享(十八)：基于Flink＋Iceberg构建企业数据湖实战

目录前言ApacheIceberg的优势ApacheIceberg经典业务场景应用ApacheIceberg的准备工作创建和使用CatalogIcebergDDL命令IcebergSQL查询IcebergSQL写入使用DataStream读取使用DataStream写入前言随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要
之乎者也··2023-12-31 11:21

Flink 内容分享(十七)：基于Flink的“批处理”尝试

目录背景实现方法一VirtualKey方法二算子状态方法三无状态的snapshot引言Flink可以说是当下最流行的分布式流数据处理引擎。
之乎者也··2023-12-31 11:51

Flink 内容分享(十六)：Flink中的容错机制

目录Flink中的容错机制1.1检查点（Checkpoint）1.1.1检查点的保存1.1.2从检查点恢复状态1.1.3检查点算法1.1.4检查点配置1.1.5保存点（Savepoint）1.2状态一致性
之乎者也··2023-12-31 11:50

Flink 使用之WatermarkStrategy（含源码分析）

Flink使用介绍相关文档目录Flink使用介绍相关文档目录前言概括来说，watermark用于基于eventtime的流计算系统数据流可能发生乱序的情况。
AlienPaul·2023-12-31 07:28

Apache Doris在京东搜索实时OLAP中的应用实践

1、前言本文讨论了京东搜索在实时流量数据分析方面，利用ApacheFlink和ApacheDoris进行的探索和实践。
小晨说数据·2023-12-31 03:11

Flink 内容分享(十一)：Flink面试题总结(二)

1、简单介绍一下FlinkFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且Flink提供了数据分布、容错机制以及资源管理等核心功能。
之乎者也··2023-12-30 22:30

Flink 内容分享(九)：Flink生产环境相关问题

目录1.Flink+Kafka保证精确一次消费相关问题？2.你们的Flink怎么提交的？使用的per-job模式吗？3.了解过Flink的两阶段提交策略吗？讲讲详细过程。如果第一阶段宕机了会怎么办？
之乎者也··2023-12-30 22:00

Flink 内容分享(十)：Flink面试题总结(一)

1、背压问题背压产生的原因流量徒增，流量内容异常，如何发现背压Flinkwebui采集到prometheus，报警发现背问题的定位与处理配置问题，GC的配置、内存&CPU的配置代码问题，算子使用不合理数据问题
之乎者也··2023-12-30 22:00
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他