flink集群与资源@k8s源码分析-总述

1 简介

集群和资源模块提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块,深入了解其设计原理,为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器,slot pool,但不深入调度器。

本文分析基于flink 1.17版本,不同版本代码差异比较大

2 关键词

作业管理器

资源管理器

任务管理器

3 参考资料

flink官方网站 https://flink.apache.org/

4 flink整体架构

flink集群与资源@k8s源码分析-总述_第1张图片

上图展示flink整体架构,本文分析集群和资源

5 flink运行架构

运行架构,按调用顺序展示flink集群启动,作业提交处理组件互动

flink集群与资源@k8s源码分析-总述_第2张图片

总体上,集群是mater-worker架构,上图是flink的抽象架构,一个优秀架构可以抽象,第六章介绍架构”具体” k8s实现

6 flink@k8s运行架构

你可能感兴趣的:(flink集群和资源源码分析,kubernetes,flink,容器)