Flink学习过程

Flink的窗口聚合

Flink在开启窗口后，经常会对数据进行聚合操作，本文介绍一下Flink的窗口聚合。Flink的窗口聚合的分类分为两类：全量聚合和增量聚合。
蜗牛@漫步·2024-08-29 12:32

Flink任务的失败恢复

在我们写完Flink程序并部署服务器上后，我们希望程序会一直运行下去。但总会有很多情况会导致全部或部分任务出现异常而导致程序中止，这个时候就希望任务能够自动处理这些异常情况。
蜗牛@漫步·2024-08-29 12:02

Flink的Savepoint机制

Flink有检查点（checkpoint）和保存点（savepoint），他们有很多相似的地方，但作用却不相同。Checkpoints的主要目的是在意外的作业失败的情况下提供一种恢复机制。
蜗牛@漫步·2024-08-29 12:02

道法项目合作报告

在过去这一学期的线上学习过程中，我们小组总共完成了三个项目化小组合作学习。总体来说还是合作的很顺利的，但还是要说说潜在的一些问题。最主要且一切的根源就是在于沟通的问题。
小鹭_Fxqqq12·2024-08-29 03:38

（十四）基于 Flink SQL 应用案例

基于上面的应用场景，结合FlinkSQL，完成技术方案设计，并输出实现代码。目录问题1详解问题2详解问题1详解基于问题一，主要
springk·2024-08-28 07:44

10、Flink 动态表之更新和追加查询详解

更新和追加查询虽然这两个示例查询看起来非常相似（都计算分组计数聚合），但它们在一个重要方面不同：第一个查询更新先前输出的结果，即定义结果表的changelog流包含INSERT和UPDATE操作。第二个查询只附加到结果表，即结果表的changelog流只包含INSERT操作。一个查询是产生一个只追加的表还是一个更新的表区别：产生更新更改的查询通常必须维护更多的状态。将append-only的表转换
猫猫爱吃小鱼粮·2024-08-28 07:43

SOC学习历程概述

之所以有这些要求主要是以防中间的学习过程中，有些东西看不懂而走弯路。学习的前期准备：1、学过数电，有一定的电路基础。2、熟练掌握verilog语言。3、对于计算机组成原理，体系结构有一
weixin_30376509·2024-08-27 18:52

Flink SQL w/ Blink Planner执行流程解析（上篇）

Foreword大数据领域SQL化的风潮方兴未艾(所谓"EverybodyknowsSQL")，Flink自然也不能“免俗”。
码农老K·2024-08-27 17:44

大数据计算-SQL优化手段(CBO)-以Flink为例

文章目录背景理论知识示例结果展示结果解释背景大数据计算中，SQL生成的执行计划第一轮会经过固定规则的优化，第二轮会根据原计划，生成多条结合成本的的执行计划，根据cost进行排序，选出最优的执行计划。理论知识原始计划如左图，有三种执行方案方案1，scan表1，scan表2，然后hash，再join方案2，scan表1，scan表2，然后broadcast表1，再join方案2，scan表1，scan
wending-Y·2024-08-27 17:12

flink&paimon开发之一：创建catalog

开发环境IDEAFlink1.17.1Paimon0.5正式本地或HDFS存储参考链接paimonjavaAPIhttps://paimon.apache.org/docs/master/api/flink-api
leichangqing·2024-08-27 16:10

（二十）Flink Paimon

数据湖、湖仓一体是当前大数据领域技术发展的重要趋势。近几年开源数据湖技术如ApacheHudi、ApacheIceberg、ApachePaimon、DeltaLake等不断涌现，基于湖仓一体架构的统一元数据管理、数据治理也越来越受到关注。从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，建设形成适合
springk·2024-08-27 16:38

前端面试宝典【CSS篇】【8】

学习过程有任何技术上的问题都可与博主一对一交流学习通过本专栏你将学到那些内容：四十篇博客、上百道高频面试题html、css、js等
bdawn·2024-08-27 06:04

flink报错找不到类java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

问题：解决方法：把这个Adddependencieswith"provided"scopetoclasspath勾选上
搞数据的小杰·2024-08-26 23:22

2024年最新Flink教程,从基础到就业，大家一起学习--Flink DataStream API-第一篇+源码讲解

本文涉及到大量的底层原理知识，包括运行机制图解都非常详细，还有一些实战案例，所以导致本篇文章会比较长，内容比较多，由于内容太多，很多目录可能展示不出来，需要去细心的查看，非常适合深入了解学习flink的小伙伴们
长风清留扬·2024-08-26 22:19

（十三）Flink SQL

目录DDL操作DML操作查询语句1.SELECTDISTINCT2.窗口函数3.窗口聚合4.OVER聚合5.连接操作6.TOP-NFlink对SQL的支持基于实现了SQL标准的ApacheCalcite
springk·2024-08-26 16:59

Flink 内存管理机制

序：Flink的内存管理机制也是Flink的一大亮点。Flink在JVM内部实现了自己的内存管理。
lvwenyuan_1·2024-08-26 16:58

（十五）Flink 内存管理机制

本章我们通过对Flink内存模型、JobManag
springk·2024-08-26 16:27

单片机 架构 程序 经验总结_是单片机高手还是菜鸟？看看你的程序框架就知道了...

初学单片机时，往往都会纠结于其各个模块功能的应用，如串口(232，485)对各种功能IC的控制,电机控制PWM，中断应用，定时器应用，人机界面应用，CAN总线等.这是一个学习过程中必需的阶段，是基本功。
weixin_39524147·2024-08-26 15:54

flink 状态参数设置

前提代码示例，通过flink消费kafka，查看list状态中的数据，确定参数的具体含义kafka的代码：发送两个key值，一秒发送一次for(inti=0;isource=KafkaSource.builder
陪你一起捡蛋壳·2024-08-26 13:36

（十九）Flink CDC

FlinkCDC(FlinkChangeDataCapture)是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。
springk·2024-08-26 12:01

MyBatis框架学习过程中遇到的问题总结

问题一：在主配置文件中配置映射文件的时候映射文件名写错产生原因：出现此错误的主要原因是对Mybatis的主配置文件以及XML映射文件之间的配置不熟悉，在初学时，往往会忽略映射文件在主配置文件中的配置。解决方案：解决该问题的方案是要深刻理解并熟悉Mybatis的配置文件与映射文件之间的关系，在Mybatis框架的使用中，尽可能的去避免由于配置产生的错误。问题二：在加载映射文件时Mybatis发现该方
爱喝冰红茶阿·2024-08-26 12:01

你是如何克服编程学习中的挫折感的？

无论是初学者还是有一定经验的程序员，都可能在学习过程中感受到挫败。本文旨在深入探讨如何通过调整心态、优化学习方法、有效利用资源和分析成功与失败的经验，来克服编程学习中的挫折感。
刷刷刷粉刷匠·2024-08-26 11:51

Flink内存调优

Flink内存调优JVM我们知道Flink是基于JobManager和TaskManager管理和运行任务，而他们都是以Java进程的形式运行的，所以在了解Flink内存时，我们需要先了解一下Java运行时环境
HHoao·2024-08-26 10:44

编程之路：在Bug的迷宫中寻找出口

以下是一些在编程学习过程中克服挫折的经验分享。目录编程是一种艺术，也是一种科学。它要求我们既要有创造性的思维，又要有严谨的逻辑。在这
厉昱辰·2024-08-26 01:54

（十）Flink Table API 和 SQL 基本概念

ApacheFlink有两种关系型API来做流批统一处理：TableAPI和SQL。
springk·2024-08-25 21:56

（九）基于 Flink DataStream API 应用案例

在11.11购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以2023.11.11购物节大促为背景，完成如下任务的计算：问题1：每隔1秒统计购物节当日从零点开始，截止到当前时间总交易额。问题2：基于销售的商品，按照品牌分类，每小时统计对应品牌下的总订单量。基于上面的应用场景，结合DataStreamAPI，完成技术方案设计，并输出实现代码。目录问题1详解问题2
springk·2024-08-25 21:55

flink 状态

状态（State）是一个重要的概念，它允许Flink在处理流数据时跟踪和存储中间结果。这对于实现复杂的计算逻辑和满足应用需求至关重要。
王小工·2024-08-25 21:54

9、Flink SQL 流式概念之Compiled Plan详解

生成CompiledPlan配置过程首先会使用COMPILEPLAN语句生成一个JSON文件，它表示了序列化后的执行计划。COMPILEPLAN不支持查询语句SELECT...FROM...。执行COMPILEPLAN语句TableEnvironmenttableEnv=TableEnvironment.create(EnvironmentSettings.inStreamingMode());t
猫猫爱吃小鱼粮·2024-08-25 20:53

（十六）Flink 状态管理

分类状态有效期（TTL）过期数据的清理OperatorStateBroadcastState状态存储StateBackends分类设置StateBackendRocksDBStateBackend详解在Flink
springk·2024-08-25 20:22

请不要暗示孩子学习是件“苦差事”

因此，很多孩子就会在开始学习之前心里先认定学习很苦，先在意识上对学习产生一种抵触情绪，自然就在后来的学习过程中没有那么高的学习兴致和动力了。那是因为，
平原雪·2024-08-25 13:26

算法的学习笔记—二叉搜索树与双向链表(牛客JZ36)

前言在数据结构的学习过程中，二叉搜索树（BinarySearchTree,BST）是一个常见的主题。它不仅具有排序的特性，还为各类算法的实现提供了基础。
尘觉·2024-08-25 05:18

许三多行动英语之训练标准

因此，听、说、读、写既是英语学习的内容，也是学习过程中的训练手段。对于英语教师而言，
唐毓烽变形金刚英文句法·2024-08-24 21:22

Flink CDC Standalone模式部署及Flink CDC Job提交

目录部署规划FlinkCDC下载FlinkCDC安装安装包解压添加connector包添加MySQL驱动提交FlinkCDC任务独立模式（Standalonemode）是Flink最简单的部署模式。
L（刘二宝）·2024-08-24 13:41

从零到一建设数据中台 - 关键技术汇总

数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark、Flink
我码玄黄·2024-08-24 12:09

浅谈如何学习网络编程

这是我的经验之谈，我从来就没有系统的学习过网络编程（非科班么），学习过程中走了不少弯路。
m0_67403073·2024-08-24 07:06

Flink 流转表，表转流，watermark设置

流转表首先创建一个流@Data@AllArgsConstructor@NoArgsConstructorpublicstaticclassNan{privateStringxing;privateStringname;privateLongts;}StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnviron
qzWsong·2024-08-24 02:59

如何克服编程学习中的挫折感的？

这样不仅能增加成就感，还能让学习过程显得更加可控和易于管理。保持耐心与毅力：
Qzer_407·2024-08-23 22:06

通俗易懂理解Flink水位线

理解水位线之前，我们先得理解Flink中的时间语义。
SunnyRivers·2024-08-23 16:29

修身日记2022.11.30

最近一段时间的学习过程中，我认识转变很多，生气责怪只会让妈妈伤心难过，她多年形成的习性根本是不会因为我说什么她就可以改掉的，一点可能性都没有，只会让自
桐鑫园·2024-08-23 05:26

你是如何克服编程学习中的挫折感的？

今天想跟大家分享一下我在编程学习过程中是如何克服那些挫折感的。相信有不少小伙伴在学习编程的路上或多或少都会遇到一些难题，有时候甚至会感到迷茫和沮丧。
X_StarX·2024-08-22 21:32

我的创作纪念日

机缘提示：可以和大家分享最初成为创作者的初心例如：实战项目中的经验分享日常学习过程中的记录通过文章进行技术交流…收获提示：在创作的过程中都有哪些收获例如：获得了多少粉丝的关注获得了多少正向的反馈，如赞、
阿Q说代码·2024-08-22 21:32

点云投影到图像python+opencv实现

提示：文章仅作为自己学习过程中的记录，有问题请指出前言本文主要实现的是读取一张照片和一张pcd，根据标定的内参和外参，将点云投影到图像中，用于判断雷达相机外参标定是否准确。
爱生活的卷心菜·2024-08-22 12:08

GDI+学习及代码总结之------画线、区域填充、写字

《精通GDI编程》里的代码，在学习过程中对它加以总结，以防以后用到，所有代码都是在MFC单文档中实现的，写在View::OnDraw(CDC*/*pDC*/)中画线/边框（Pen）1、画单线——-DrawLine
Legend500·2024-08-22 12:37

Flink 开发语言选择 —— Java vs Scala

引言ApacheFlink是一个用于处理无界和有界数据流的开源分布式计算框架。随着Flink的日益流行，越来越多的开发者开始考虑使用哪种编程语言来进行Flink应用程序的开发。
不知名靓仔·2024-08-22 07:04

Apache Paimon：实时湖仓架构构建工具

ApachePaimon：实时湖仓架构构建工具paimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkandSparkforbothstreamingandbatchoperations
乔如黎·2024-08-22 03:15

探索实时湖仓架构的新星：Apache Paimon

探索实时湖仓架构的新星：ApachePaimonpaimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkandSparkforbothstreamingandbatchoperations
幸愉旎Jasper·2024-08-22 03:39

flink经典实战案例

一、java版flink-wordcount-离线计算版1.1maven构建flink，加入依赖org.apache.flinkflink-java${flink.version}provided-->
不 爱吃肉肉·2024-08-21 20:59

Flink中的SQL Client和SQL Gateway

Flink中的SQLClient和SQLGateway对比目录定义基本原理适用场景主要区别常用运维命令示例官方链接正文1.定义SQLClient：FlinkSQLClient是一种用于提交和执行FlinkSQL
BigDataMLApplication·2024-03-29 14:20

AI大模型学习：开启智能时代的新篇章

然而，这些模型的背后是一系列复杂的学习过程，深度学习技术的不断演进推动了AI大模型学习的发展。首先，AI大模型学习的基础是深度学习技术。深度学习是一种模仿人类大脑结构的机器
游向大厂的咸鱼·2024-03-28 12:13

Flink算子通用状态应用测试样例

Flink算子通用状态应用测试样例1.获取Flink执行环境finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
公子乂·2024-03-27 05:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他