Flink深度解析

【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:37

【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:06

【大数据】Flink 架构（六）：保存点 Savepoint

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:06

【大数据】Flink 架构（四）：状态管理

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:36

【大数据】Flink 架构（二）：数据传输

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:35

【大数据】Flink 架构（三）：事件时间处理

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:35

【大数据】Flink 架构（一）：系统架构

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:05

【极数系列】Flink详细入门教程 & 知识体系 & 学习路线（01）

文章目录01引言02Flink是什么2.1Flink简介2.2Flink架构2.3Flink应用场景2.4Flink运维03Flink环境搭建3.1Flink服务端环境搭建3.2Flink部署模式3.3Flink
浅夏的猫·2024-01-29 06:34

【极数系列】Flink配置参数如何获取？（06）

文章目录gitee码云地址简介概述01配置值来自.properties文件1.通过路径读取2.通过文件流读取3.通过IO流读取02配置值来自命令行03配置来自系统属性04注册以及使用全局变量05Flink
浅夏的猫·2024-01-29 06:34

flink源码分析 - 简单解析命令行参数

flink版本:flink-1.11.2提取主类代码位置:org.apache.flink.api.java.utils.MultipleParameterTool#fromArgs代码逻辑比较简单，此处不再赘述
zxfBdd·2024-01-29 06:04

flink源码分析 - jar包中提取主类和第三方依赖

flink版本:flink-1.11.2提取主类代码位置:org.apache.flink.client.program.PackagedProgram#getEntryPointClassNameFromJar
zxfBdd·2024-01-29 06:03

【大数据】Flink 架构（六）：保存点 Savepoint

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:32

Flink 的 API

Flink为开发流式/批处理应用程序提供了不同级别的抽象。最低级别的抽象只是提供有状态和及时的流处理。是的通过流程嵌入到DataStreamAPI中功能。
m0_66520412·2024-01-28 20:00

flink词汇表

Flink应用集群#Flink应用集群是一个专用的Flink集群，只从一个Flink执行Flink作业应用程序。Flink的生命周期集群绑定了Flink应用的生命周期。
m0_66520412·2024-01-28 20:00

flink窗口（Window）

一、什么是窗口（窗口的概念）Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。
m0_66520412·2024-01-28 20:30

flink通过状态快照实现容错

状态后端#Flink管理的键控状态是一种分片的键/值存储，以及每个键/值存储的工作副本键控状态的项保留在负责该键的TaskManager的本地某个位置。算子state也是需要它的计算机的本地状态。
m0_66520412·2024-01-28 20:30

流分析&活动时间和水印

使用事件时间#如果要使用事件时间，还需要提供时间戳提取器和水印Flink将用于跟踪事件时间进度的生成器。这将在下面关于使用水印的部分，但首先我们应该解释什么是水印。
m0_66520412·2024-01-28 20:30

flink架构

Flink是一个分布式系统，需要有效的分配和管理计算资源，以便执行流式处理应用程序。
m0_66520412·2024-01-28 20:29

怎么便宜寄快递,给你深度解析,一次性说清楚

寄快递时，我们都希望找到最优惠、最省钱的方法。那么，到底有哪些方法可以让我们寄快递更加省钱呢？接下来，让我为你揭秘快递省钱方法大全！氧惠APP（带货领导者）——是与以往完全不同的抖客+淘客app！2024全新模式，我的直推也会放到你下面。主打：带货高补贴，深受各位带货团队长喜爱（每天出单带货几十万单）。注册即可享受高补贴+0撸+捡漏等带货新体验。送万元推广大礼包，教你如何1年做到百万团队。首先，让
氧惠全网优惠·2024-01-28 15:22

Keepalived 深度解析：高可用性的精髓及实践指南

Keepalived深度解析：高可用性的精髓及实践指南Keepalived深度解析：高可用性的精髓及实践指南Keepalived的工作原理1.VRRP协议概述2.Keepalived的角色3.VRRP协议详解
牛哄哄的柯南·2024-01-28 11:09

【Java万花筒】Java智能编程：探寻Jess、JADE、Neuroph和Apache OpenNLP的奇妙世界

Java中的智能力量：Jess、JADE、Neuroph和ApacheOpenNLP深度解析前言在当今数字化的时代，处理和分析大量数据的需求越来越迫切。
friklogff·2024-01-28 10:25

循环测试之旅——深度解析Pytest插件 pytest-repeat

在软件开发中，测试的重要性不言而喻。而为了提高测试的鲁棒性和可靠性，Pytest插件pytest-repeat应运而生。这个插件可以帮助你轻松实现测试用例的循环运行，以更全面地评估代码的稳定性。本文将深入介绍pytest-repeat插件的基本用法和实际案例，助你更好地利用循环测试，发现和解决潜在问题。什么是pytest-repeat？pytest-repeat是Pytest的一个插件，它允许你在
Summer Stone·2024-01-28 09:58

深度解析Axure：功能特色、发展演变、替代软件对比、技巧分享

AxureRP是什么？快速了解这款强大的原型设计工具在现代科技发展的背景下，软件产业发展迅速。作为金科软件，我们一直致力于为用户提供创新实用的软件工具。今天，我们将介绍一个强大的原型设计工具——AxureRP。AxureRP是一种以用户需求为核心的原型设计工具，可以帮助用户实现快速高效的产品原型设计。产品经理、UX设计师和开发人员都可以通过AxureRP可以轻松设计原型，快速构建产品界面和交互效果
不秃头的UI设计师·2024-01-28 08:44

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

【大数据】详解 Flink 中的 WaterMark

详解Flink中的WaterMark1.基础概念1.1流处理1.2乱序1.3窗口及其生命周期1.4KeyedvsNon-Keyed1.5Flink中的时间2.Watermark2.1案例一2.2案例二2.3
G皮T·2024-01-28 06:13

【大数据】Flink 中的状态管理

Flink中的状态管理1.算子状态2.键值分区状态3.状态后端4.有状态算子的扩缩容4.1带有键值分区状态的算子4.2带有算子列表状态的算子4.3带有算子联合列表状态的算子4.4带有算子广播状态的算子在前面的博客中我们指出
G皮T·2024-01-28 06:13

迟到数据处理 和 基本时间的合流

WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(10));2.设置窗口延迟关闭Flink的窗口，也允许迟到数据。
莫噶·2024-01-27 22:20

函数类（Function Classes）和 富函数类（Rich Function Classes）

目录函数类（FunctionClasses）富函数类（RichFunctionClasses）函数类（FunctionClasses）Flink暴露了所有UDF函数的接口，具体实现方式为接口或者抽象类，
莫噶·2024-01-27 22:47

深度解析数据库垂直与水平拆分：原则详解

深度解析数据库垂直与水平拆分：原则详解I.引言A.背景介绍在当今数字化时代，大量的数据被不断产生和积累，企业面临着巨大的数据管理挑战。数据库作为信息存储和管理的核心，扮演着至关重要的角色。
一休哥助手·2024-01-27 21:31

37、Flink 的CDC 格式：debezium部署以及mysql示例（完整版）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchanchn·2024-01-27 20:08

Linux C++ 进程管理器设计全攻略：通信、信息与架构深度解析

目录标题1.引言1.1进程管理器的作用1.2现代操作系统中的进程管理2.进程通信方式对比2.1.管道(Pipes)2.2.消息队列(MessageQueues)
泡沫o0·2024-01-27 18:24

快应用通讯原理

快应用架构快应用整体架构&Dom构建原理，官网文档上有详细介绍如下链接：快应用开发体验与技术架构深度解析！
游侠_6fb7·2024-01-27 16:12

JavaScript 第十八章（条件语句深度解析）

条件语句在编程中扮演着至关重要的角色，它们允许我们根据不同的条件执行不同的代码路径。在JavaScript中，我们主要通过if、else、elseif和switch语句来实现这一功能。if语句if语句是最基础的条件判断语句，它允许我们在条件为真时执行代码。基本的if语句结构如下：if(condition){//当条件为真时执行的代码}如果条件为假，则代码块不会被执行。例如，我们可以用if语句来判断
handsome-wolf·2024-01-27 14:27

JavaScript 第十六章（表达式深度解析）

在JavaScript的世界里，表达式是构建应用的基础，它们像乐高积木一样，可以组合出无限可能。今天，我们来深入探讨JavaScript中的各种表达式，理解它们的用法和特性。主表达式主表达式是最基本的单位，不依赖于其他表达式。//数值字面量letage=30;//字符串字面量letgreeting="Hello,World!";//正则表达式字面量letregex=/ab+c/;//关键字leti
handsome-wolf·2024-01-27 14:54

flink TaskManager 内存模型(二)

抛开JVM内存模型，单从TaskManager内存的主要使用方式来看，TaskManager的内存主要分为三个部分：NetworkBuffers：一定数量的MemorySegment,主要用于网络传输。在TaskManager启动时分配，通过NetworkEnvironment和NetworkBufferPool进行管理ManagedMemory：由MemoryManager管理的一组Memory
邵红晓·2024-01-27 13:09

月活2亿的小红书产品设计全方位深度解析

这是一个神奇的平台，因为活跃在这个平台的2亿用户都是追求生活品质的年轻人，他们乐于分享自己的购物体验和生活方式，然后再顺便种个草，赚点钱。这里没有人因为你要推广自己的商品而感到厌烦，只要你的图片和文字足够吸引人，他们对来自全世界的好东西都不会拒绝。这就是小红书，一个以年轻女性用户群体为主的生活分享内容社区，他们向大家种草全世界的好东西，他们还希望好产品都从这里长出来。本期设计大侦探，就让我们跟随廖
xiaoshun007～·2024-01-27 12:26

Flink On K8s 集群原理

FlinkOnK8s架构image.pngFlink任务在Kubernetes上运行的步骤有：●首先往Kubernetes集群提交了资源描述文件后，会启动Master和Worker的container。
fat32jin·2024-01-27 10:18

Ehcache深度解析与实践指南

第1章：引言大家好，我是小黑，今天咱们来谈谈Ehcache，这个在Java里相当受欢迎的缓存工具。Ehcache的大名早已在Java开发者中流传，它是一个纯Java的缓存框架，非常容易集成到咱们的项目中。这货不仅能在内存中缓存数据，还可以将数据存到硬盘上，这样即便是程序重启，也可以保证部分数据不丢失，直接加载进来。Ehcache和其他缓存技术（比如Redis、Memcached）有什么不一样呢？E
宋小黑·2024-01-27 08:56

Flink实现数据写入MySQL

先准备一个文件里面数据有：a,1547718199,1000000b,1547718200,1000000c,1547718201,1000000d,1547718202,1000000e,1547718203,1000000f,1547718204,1000000g,1547718205,1000000h,1547718210,1000000i,1547718210,1000000j,15477
莫噶·2024-01-27 08:23

Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】

Flink实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。
PONY LEE·2024-01-27 08:21

Flink面试题

0.思维导图1.简单介绍一下Flink♥♥  Flink是一个分布式的计算框架，主要用于对有界和无界数据流进行有状态计算，其中有界数据流就是值离线数据，有明确的开始和结束时间，无界数据流就是指实时数据，
韩顺平的小迷弟·2024-01-27 08:51

flink-cdc实战之oracle问题记录01

记录问题，温暖你我，上台欢迎点赞留言关注2024-01-2611:02:56,168ERROROracle|oracle_logminer|streamingMiningsessionstoppedduetothe{}[io.debezium.connector.oracle.logminer.LogMinerHelper]io.debezium.DebeziumException:Supplem
大大蚊子·2024-01-27 08:45

Flink max maxby区别

max只会显示指定字段的大小变化，而maxBy会显示其他字段的变化。max：取指定字段的当前的最大值，如果有多个字段，其他非比较字段，以第一条为准。maxBy：取指定字段的当前的最大值，如果有多个字段，其他字段以最大值那条数据为准。这种比较符合常识。举例，原始数据，如下：stock_277,22.3760055422398,SYSStock,1631002964777stock_277,1.141
core512·2024-01-27 08:12

Flink生产环境相关问题

1.Flink+Kafka保证精确一次消费相关问题？Fink的检查点和恢复机制和可以重置读位置的source连接器结合使用，比如kafka，可以保证应用程序不会丢失数据。
大数据左右手·2024-01-27 08:09

Flink-Task启动源码

1.总结1.1submitTaskTaskExecutor#submitTask开始，主要有4个工作：首先将TaskSlot的状态修改为Active，然后取消Slot的使用超时任务:Timeout从BlobService下载Task执行需要的各种资源构造Task对象newTask封装一个Task信息对象TaskInfo，(TaskInfo,JobInfo，JobMasterInfo)初始化Resu
yangguanghaozi·2024-01-27 07:47

flink系列--flinksql cdc源码分析

前言关于cdc（changedatacapture）不知道的小伙伴们可以去百度一下，简单来说就是对于数据库的变更进行一个探测，因为数据库的更改对于客户端来说是没有感知的，你需要开启线程去查询，才知道数据有没有更新，但是就算是查询，如果是直接select*from....,这样获取的结果还要和上次获取的结果对比，才知道数据有没有发生变化，耗时大，一个简单的思路是在要查询的表中添加一个updateTi
鲸失·2024-01-27 07:17

Flink 2.0 状态管理存算分离架构演进

本文整理自阿里云智能Flink存储引擎团队负责人梅源在FlinkForwardAsia2023的分享，梅源结合阿里内部的实践，分享了状态管理的演进和Flink2.0存算分离架构的选型。
Apache Flink·2024-01-27 07:46

Flink 事件时间与处理时间

Flink在数据流中支持几种不同概念的时间。1.处理时间ProcessingTime(处理时间)是指执行相应操作的机器系统时间，是操作算子在计算过程中获取到的所在主机的系统时间。
qq_489366879·2024-01-27 07:42

flink-源码探索-RPC-分析

背景介绍：对flink整个流程进行分析，首先第一步需要了解每个组件之前的通讯方式，以及调用的流程，这样就可以对后面研究的代码，主要分析flink1.14.2比较新的版本。
slow-wing·2024-01-27 07:11

95-080-046-源码-启动-flink-daemon.sh

1.视界2.启动lcc@lccflink-1.9.0$bin/start-cluster.shStartingcluster.Startingstandalonesessiondaemononhostlcc.Startingtaskexecutordaemononhostlcc
九师兄·2024-01-27 07:11
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他