Flink源码学习

flink源码分析之功能组件(五)-高可用组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-15 11:21

Flink CDC--MySQL

FlinkCDC–MySQLFlinkCDCMySQL版本单表CDC目标：利用Flink将MySQL增量数据同步到Doris执行流程第一步：操作数据库构建表，并加入数据mysql-uroot-pupdateusersetHost
清盏涂墨衣·2023-12-15 09:59

全方位解读SeaTunnel MySQL CDC连接器：实现数据高效同步的强大工具

MySQLCDC源连接器支持的引擎SeaTunnelZetaFlink主要特性批量流式
DolphinScheduler社区·2023-12-15 07:41

源码学习系列之SpringBoot自动配置（篇一）

源码学习系列之SpringBoot自动配置源码学习（篇一）ok，本博客尝试跟一下Springboot的自动配置源码，做一下笔记记录，自动配置是Springboot的一个很关键的特性，也容易被忽略的属性，
smileNicky·2023-12-15 07:01

物流实时数仓：采集通道搭建

hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问4.ClickHouse安装5.Flink
超哥--·2023-12-15 06:34

Flink核心概念

在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operatorsubtask），这些子任务在不同的线程、不同的物理机或不同的容
Stephen6Yang·2023-12-15 03:06

Flink基本转换算子map/filter/flatmap

mapmap是大家非常熟悉的大数据操作算子，主要用于将数据流中的数据进行转换，形成新的数据流。简单来说，就是一个“一一映射”，消费一个元素就产出一个元素。我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现；返回值类型还是DataStream，不过泛型（流中的元素类型）可能改变。publicclassTransMap{publ
Stephen6Yang·2023-12-15 03:01

【Flink系列七】TableAPI和FlinkSQL初体验

ApacheFlink有两种关系型API来做流批统一处理：TableAPI和SQLTableAPI是用于Scala和Java语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join等关系型算子
周润发的弟弟·2023-12-15 03:48

【Flink系列六】Flink里面的状态一致性

状态一致性有状态的流处理，内部每个算子任务都可以有自己的状态，对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。一条数据不应该丢失，也不应该重复计算。再遇到有故障时可以恢复状态，恢复以后的重新计算，结果应该也是可以完全正确的。状态一致性的分类AT-MOST-ONCE（最多一次）当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重复丢失的数据。At-most
周润发的弟弟·2023-12-15 03:18

【Flink名称解释一】什么是cataLog

Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL查询语句中来访问。
周润发的弟弟·2023-12-15 03:18

【Flink系列四】Window及Watermark

3.1、window在Flink中Window可以将无限流切分成有限流，是处理有限流的核心组件，现在Flink中Window可以是时间驱动的（TimeWindow），也可以是数据驱动的（CountWindow
周润发的弟弟·2023-12-15 03:18

Flink Window中典型的增量聚合函数(ReduceFunction / AggregateFunction)

一、什么是增量聚合函数在FlinkWindow中定义了窗口分配器，我们只是知道了数据属于哪个窗口，可以将数据收集起来了；至于收集起来到底要做什么，其实还完全没有头绪，这也就是窗口函数所需要做的事情。
文文鑫·2023-12-15 03:45

kyuubi整合flink yarn application model

目录概述配置flink配置kyuubi配置kyuubi-defaults.confkyuubi-env.shhive验证启动kyuubibeeline连接使用hivecatalogsql测试结束概述flink
流月up·2023-12-15 03:14

【Flink系列五】Checkpoint及Barrier原理

保存点Savepoint状态后端（statebackend）本文先设置一个前提，流处理的数据都是可回放的（可以理解成消费的kafka的数据）一致性检查点（checkpoints）图1checkpoint是Flink
周润发的弟弟·2023-12-15 02:11

源码浅析-Vue3中的13个全局Api

前言不知不觉Vue-next[1]的版本已经来到了3.1.2，最近对照着源码学习Vue3的全局Api，边学习边整理了下来，希望可以和大家一起进步。我们以官方定义、用法、源码浅析三个维度来一起看看它们。
winty~~·2023-12-15 00:17

【毕业设计】大数据淘宝用户行为数据分析与可视化 - flink

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
caxiou·2023-12-14 19:08

flink源码分析之功能组件(六)-心跳组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-14 16:10

Flink-源算子-读取数据的几种方式

Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（datasource），而读取数据的算子就是源算子（sourceoperator）。
Stephen6Yang·2023-12-14 16:04

Flink之流的转换

ProcessFuncion处理函数功能拥有富函数功能-生命周期方法-状态编程对元素的处理功能processElement,在不同的处理函数中，该方法的名字略有区别定时器编程TimeService:定时服务,可以用于注册定时器，删除定时器ontimer():定时器触发后会自动调用该方法，我们将需要完成的工作写到该方法中侧输出流分类processFunction:普通流DataStream调用key
十七✧ᐦ̤·2023-12-14 16:34

Flink之状态编程

状态的分类托管状态：由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现。算子状态：状态由算子内所
十七✧ᐦ̤·2023-12-14 16:34

Flink之keyby状态

KeyedState值状态：维护一个具体的值ValueState继承自StateTvalue():从状态中获取维护的数据update():更新状态列表状态：可以当成List使用，维护多个值add():添加一个状态addAll()：添加多个状态，不会覆盖原有的状态get()：获取状态update()：将指定集合的数据直接更新到状态中，会覆盖原有的状态clear()：清空状态Map状态：维护一个Map
十七✧ᐦ̤·2023-12-14 16:34

【自定义Source、Sink】Flink自定义Source、Sink对ClickHouse进行读和批量写操作

ClickHouse官网文档Flink读取ClickHouse数据两种驱动ClickHouse官方提供ClickhouseJDBC.
不进大厂不改名二号·2023-12-14 16:03

Flink 项目系列

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战
清风明月一壶酒·2023-12-14 16:22

【Table/SQL Api】Flink Table/SQL Api表转流读取MySQL

引入依赖jdbc依赖flink-connector-jdbc+mysql-jdbc-driver操作mysql数据库org.apache.flinkflink-connector-jdbc_${scala.binary.version
不进大厂不改名二号·2023-12-14 16:44

Flink的容错机制

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Ba
十七✧ᐦ̤·2023-12-14 16:44

TreeMap源码学习分析

1.常用的Map类图在之前，我对HashMap进行了分析，我们可以知道，HashMap是底层是维护着一个哈希表。如图，TreeMap和HashMap都是继承AbstractMap，并且实现了Serializeable和Cloneable接口但是TreeMap还实现了SortedMap，我们可以猜测TreeMap是有序的一棵树结构。2.TreeMap数据结构--红黑树TreeMap底层是一颗红黑树，
雨夏_·2023-12-14 15:57

tomcat源码学习记录

tomcat学习记录tomcat编译ant下载编译运行源码Debug运行Bootstrap运行Tomcat查看状态pom.xml测试EmbeddedTomcat参考书籍博客tomcat编译下载tomcat10源码，解压然后idea导入包存放的默认位置如下：base.path=${user.home}/tomcat-build-libs同时在项目的tomcat/res/ide-support/ide
antRain·2023-12-14 15:34

【Spring Boot 源码学习】ApplicationListener 详解

SpringBoot源码学习系列ApplicationListener详解引言往期内容主要内容1.初识ApplicationListener2.加载ApplicationListener3.响应应用程序事件总结引言书接前文
Huazie·2023-12-14 13:14

【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode）4.优化阶段（RelNode->optimize->Transformation）5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipel
roman_日积跬步-终至千里·2023-12-14 12:20

Flink之DataStream API的转换算子

简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦，使用灵活匿名内部类:编码简单Lambda:编码简洁publicclassFlink02_FunctionImplement{publicstaticvoidmain
十七✧ᐦ̤·2023-12-07 00:13

Flink基础之DataStream API

合并的两条流的数据类型可以不一致connec后，得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclassFlink09
十七✧ᐦ̤·2023-12-07 00:11

【Spring Boot 源码学习】ApplicationContextInitializer 详解

SpringBoot源码学习系列ApplicationContextInitializer详解引言往期内容主要内容1.初识ApplicationContextInitializer2.加载ApplicationContextInitializer3
Huazie·2023-12-06 22:50

flink运行报Exception in thread “main“ java.lang.IllegalStateException

问题描述运行flink程序时报异常，异常信息如下：Exceptioninthread"main"java.lang.IllegalStateException:NoExecutorFactoryfoundtoexecutetheapplication.atorg.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutor
大数据魔法师·2023-12-06 20:20

flink安装与配置-脚本一键安装（超简单）

文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.浏览器访问总结前言本文介绍了使用shell脚本一键安装和配置ApacheFlink单机版的方法。
大数据魔法师·2023-12-06 20:48

flink报错：akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply

通讯超时akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka://...]]after[10000ms]Akka超时导致，一般有两种原因：一是集群负载比较大或者网络比较拥塞，二是业务逻辑同步调用耗时的外部服务。如果负载或网络问题无法彻底缓解，需考虑调大akka.ask.timeout参数的值（默认只有10秒）；另外，调用外部服务时尽量异
青云游子·2023-12-06 17:47

Hive的使用技巧

一.Hive常用交互命令[zhangflink@flinkv1hive]$bin/hive-help1.在Hive命令行里创建一个表student，并插入1条数据2.
Appreciate(欣赏)·2023-12-06 16:10

基于springboot+vue篮球联盟管理系统源码

简介：500+精品计算机源码学习欢迎点赞收藏⭐留言文末获取源码目录一、以下学习内容欢迎交流：二、文档资料截图：三、项目技术栈四、项目运行图背景：篮球运动在全球范围内备受热爱，各种篮球联赛和比赛层出不穷。
千里码科技·2023-12-06 15:47

【 OpenGauss源码学习 —— 列存储（CStoreMemAlloc）】

列存储（CStoreMemAlloc）概述CStoreMemAlloc类CStoreMemAlloc::Palloc函数CStoreMemAlloc::AllocPointerNode函数CStoreMemAlloc::FreePointerNode函数CStoreMemAlloc::Repalloc函数CStoreMemAlloc::PfreeCStoreMemAlloc::Register函数
J.Kuchiki·2023-12-06 14:35

【OpenGauss源码学习 —— （VecToRow）算子】

VecToRow算子概述ExecInitVecToRow函数功能参数步骤ExecVecToRow函数功能描述参数返回值执行步骤DevectorizeOneBatch函数ExecEndVecToRow函数总结声明：本文的部分内容参考了他人的文章。在编写过程中，我们尊重他人的知识产权和学术成果，力求遵循合理使用原则，并在适用的情况下注明引用来源。本文主要参考了OpenGauss1.1.0的开源代码和《
J.Kuchiki·2023-12-06 14:35

【OpenGauss源码学习 —— （RowToVec）算子】

VecToRow算子概述ExecInitRowToVec函数ExecRowToVec函数VectorizeOneTuple函数ExecEndRowToVec函数总结声明：本文的部分内容参考了他人的文章。在编写过程中，我们尊重他人的知识产权和学术成果，力求遵循合理使用原则，并在适用的情况下注明引用来源。本文主要参考了OpenGauss1.1.0的开源代码和《OpenGauss数据库源码解析》和《Po
J.Kuchiki·2023-12-06 14:00

000FreeCAD源码学习--MainGui.cpp

目录1MainGui.cpp源代码2intmain()函数分析3编译运行截图FreeCADMain项目下的MainGui.cpp1MainGui.cpp源代码intmain(intargc,char**argv){#ifdefined(FC_OS_LINUX)||defined(FC_OS_BSD)setlocale(LC_ALL,"");//usenativeenvironmentsetting
东方.既白·2023-12-06 14:00

Temporal table join requires an equality condition on fields of table

报错信息org.apache.flink.table.api.TableException:Temporaltablejoinrequiresanequalityconditiononfieldsoftable
Direction_Wind·2023-12-06 12:34

聊聊flink的NetworkEnvironmentConfiguration

序本文主要研究一下flink的NetworkEnvironmentConfigurationNetworkEnvironmentConfigurationflink-1.7.2/flink-runtime
go4it·2023-12-06 10:35

Flink 读写Doris

FlinkDorisConnector可以支持通过Flink操作（读取、插入、修改、删除）Doris中存储的数据。
shangjg3·2023-12-06 08:49

Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink

WITH子句1.准备工作生成数据sourcekafkajson数据格式：topiccase_kafka_mysql：{"ts":"20201011","id":8,"price_amt":211}topicflink_test
victory0508·2023-12-06 07:55

从0到1实现Flink 实战实时风控系统的经验总结

本文将分享从零开始构建Flink实时风控系统的经验，并提供相关示例代码。一、搭建Flink环境首先，我们需要搭建Flink环境。以下是一些基本步骤：安装Java和Scala开发环境。
沃威2268731·2023-12-06 05:14

聊聊flink Table的Set Operations

序本文主要研究一下flinkTable的SetOperations实例UnionTableleft=tableEnv.fromDataSet(ds1,"a,b,c");Tableright=tableEnv.fromDataSet
go4it·2023-12-05 22:46

flink入门基础知识整理（持续更新）

目录1.入门概念1.1核心特点1.1.1批流数据1.1.2容错能力1.1.3高吞吐低延迟1.1.4大规模复杂计算1.1.5多平台部署2.API介绍2.1API层次2.2DataStream体系2.3数据读取（Source）2.3.1内存读取2.3.2文件读取2.3.3SOCKET接入2.3.4自定义读取2.4数据转换处理（Transformation）2.5数据输出（Sink）3.时间与窗口3.1
大胡在进步·2023-12-05 21:02

Flink入门之概念介绍（一）

Flink作为近几年甚是火爆的数据实时处理框架，吸引了一大批程序员的学习，更是凭借着流批一体化，高效实时数据计算，尤其是在数据量特别大的情况下，每秒钟的数据处理量高达7TB，受到了一大批企业的青睐，纷纷将
大数据程序员·2023-12-05 21:31

Flink快速入门

大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/spark/flinkHadoop-MR
WaiSaa·2023-12-05 21:30
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他