【学习笔记 - Flink】 Flink 架构

Flink 学习笔记

本文目的在于自己学习过程中的些许总结，会部分引用到以下文章，特此声明，侵删，感谢
引用，学习链接：
Flink官网
三分钟秒懂大数据 - 史上最全干货！Flink面试大全总结（全文6万字、110个知识点、160张图）

Flink 架构

1. Client （项目发起者，架构师）
   Flink 提供的 CLI 命令行工具。用于提交代码到集群，负责 Stream Graph, Job Graph 的构建。

2. Job Manager （项目经理）
   Ⅰ 根据并行度将 Flink 分解为子任务
   Ⅱ 申请，分配，回收资源
   Ⅲ 当资源申请完成后，分发给 Task Manager 执行 Task
   Ⅳ 监控作业执行状态，如发现异常则恢复作业

   同时 Job Manager 进程由以下 3 个组件组成：Resource Manager，Dispatcher，JobMaster：
   Resource Manager
   申请，分配，回收资源，管理 task slots
   Dispather
   提供 REST 接口，提交 Flink 程序；
   为每个提交的 Flink 程序启动一个 JobMaster；
   运行 Flink Web UI 提供作业运行信息；
   JobMaster
   监管 Flink 应用的生命周期，异常恢复

3. Task Manager （开发工程师，Worker）
   负责实际作业的启动，执行，停止等。是作业的实际执行者