Flink(1.13) 的运行架构

架构图

image.png

官网原图：https://ci.apache.org/projects/flink/flink-docs-release-1.13/fig/processes.svg

Flink 运行时至少包含两个进程：1个JobManager和至少1个TaskManager。

角色

Flink Program（客户端）

• 作用：
  负责将程序代码解析成数据流图(Dataflow graph)，并发送给 JobManager，不负责逻辑处理。

严格上说, 客户端不是运行和程序执行的一部分, 而是用于准备和发送dataflow到JobManager. 然后客户端可以断开与JobManager的连接(detached mode), 也可以继续保持与JobManager的连接(attached mode)
客户端作为触发执行的java或者scala代码的一部分运行, 也可以在命令行运行:bin/flink run ...

JobManager（老大，策划，负责job的分配）

• 作用：
  接收来着Client(Flink Program)的数据Dataflow graph)，并重新划分成更加详细的ExecutionGraph，然后交由TaskManager执行。

控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个的JobManager所控制执行。
JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR包。
JobManager会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有可以并发执行的任务。JobManager会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager上。
而在运行过程中，JobManager会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。

JobManager包含3个不同的组件

• ResourceManager(一个集群就只有一个ResourceManager)

负责资源的管理，在整个 Flink 集群中只有一个 ResourceManager. 注意这个ResourceManager不是Yarn中的ResourceManager, 是Flink中内置的, 只是赶巧重名了而已.
主要负责管理任务管理器（TaskManager）的插槽（slot），TaskManger插槽是Flink中定义的处理资源单元。当JobManager申请插槽资源时，ResourceManager会将有空闲插槽的TaskManager分配给JobManager。如果ResourceManager没有足够的插槽来满足JobManager的请求，它还可以向资源提供平台(YARN )发起会话，以提供启动TaskManager进程的容器。另外，ResourceManager还负责终止空闲的TaskManager，释放计算资源

• Dispatcher

负责接收用户提供的作业，并且负责为这个新提交的作业启动一个新的JobMaster 组件. Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。

• JobMaster(每一个job都有一个JobMaster）

JobMaster负责管理单个JobGraph的执行.多个Job可以同时运行在一个Flink集群中, 每个Job都有一个自己的JobMaster.

对于 yarn-session 模式，可能会有多个job到一个集群中，所以有多个JobMaster，对于yarn-pro-job 或 yarn-application而言，一个job一个集群，所以就一个JobMaster。

• 粗粒度的流程图

  
  
  工作机制

TaskManager（小弟，真正干活的人）

Flink中的工作进程。通常在Flink中会有多个TaskManager运行，每一个TaskManager都包含了一定数量的插槽（slots）。插槽的数量限制了TaskManager能够执行的任务数量。
启动之后，TaskManager会向资源管理器注册它的插槽；收到资源管理器的指令后，TaskManager就会将一个或者多个插槽提供给JobManager调用。JobManager就可以向插槽分配任务（tasks）来执行了。
在执行过程中，一个TaskManager可以跟其它运行同一应用程序的TaskManager交换数据。

• 作用：
  按照Executor Graph的规划执行业务逻辑。