10、Flink的运行架构

---

一、Flink的架构

Flink运行时由两种类型的进程组成：一个JobManager和一个或者多个TaskManager，采用了典型的Master-Slave架构，如下图：

作业管理器JobManager只负责调度，不负责运行。
任务管理器TaskMananger负责执行程序。

二、Flink运行时的组件

Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机（JVMs）上。

1.作业管理器（JobManager）

1）控制一个应用程序执行的主进程，也就是说每一个应用程序都会被一个不同的JobManager所控制。
2）JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其他资源的JAR包。
3）JobManager会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有可以并发执行的任务。
4）JobManager会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager上。而在运行过程中，作业管理器会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。

2.任务管理器（TaskManager）

1）Flink中的工作进程（是一个JVM进程，里面可以有多个线程，线程数量由slot数量决定）。通常在Flink中会有多个TaskManager运行，每一个TaskManager都包含了一定数量的插槽（slots）。插槽的数量限制了TaskManager能够执行的任务数量。
2）启动之后，TaskManager会向资源管理器注册它的插槽，收到资源管理器的指令后，TaskManager就会将一个或者多个插槽提供给JobManager调用。JobManager就可以向插槽分配任务（tasks）来执行了。（TaskManager向资源管理器说明自己插槽的可用情况，在JobManager向资源管理器请求资源即插槽的时候，直接就可以看到哪个TaskManager有空闲的插槽，那么就可以分配任务给这些TaskManager了）
3）在执行过程中，一个TaskManager可以跟其它运行同一应用程序的TaskManager交换数据。（一个任务执行完之后，就要将数据发送到下一个任务里，下一个任务可能在一个TaskManager里的不同插槽上，也可能在别的TaskManeger上）

3.资源管理器（ResourceManager）

1）主要负责管理任务管理器（TaskManager）的插槽（slot），TaskManager插槽是Flink中定义的处理资源单元。
2）Flink为不同的环境和资源管理工具提供了不同资源管理器，比如Yarn、Mesos、K8s，以及standlone部署。
3）当JobManager申请插槽资源时，ResourceManager会将有空闲插槽的TaskManager分配给JobManager。如果ResourceManager没有足够的插槽来满足JobManager的请求，它还可以向资源提供平台发起会话，以提供TaskManager进程的容器（如果是standlone这种没有资源管理平台的环境只能一直转圈，不能申请了，也一直无法执行）。

4.分发器（Dispatcher）

1）可以跨作业运行，它为应用提交提供了REST接口。
2）当一个应用被提交执行时，分发器就会启动并将应用移交给一个JobManager。（就是一个桥梁的作用）
3）Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。
4）Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。

三、Flink任务提交流程

要提交应用，首先提交给分发器Dispatcher，分发器启动一个JobManager然后直接把应用转接给它，JobManager知道需要多少slots，于是向资源管理器ResourceManager发起请求，请求slots，资源管理器收到请求后，去启动TaskManager（如果没有资源管理平台，TaskManager是本来就启动的；有资源管理平台时，要用资源采取启动TaskManager），TaskManager向资源管理器注册自己可用的slot，TaskManager找到能够提供所需slot的TaskManager，发起提供slot的指令。收到指令的TaskManager向JobManager提供slots，JobManager提交要在slots中执行的任务。
上面是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同，例如（YARN，Mesos，Kubernetes，standalone等），其中一些步骤可以被省略，或是有些组件会运行在同一个JVM进程中，例如下面将Flink集群部署到YARN上，那么就会有如下的提交流程：

Flink提交任务后，Client向HDFS上传Flink的Jar包和配置，之后向Yarn的ResourceManager提交任务，ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobManager，之后ApplicationMaster向ResourceManager申请资源启动TaskManager，ResourceManager分配Container资源后，由ApplicationMaster通知资源所在节点的NodeManager启动TaskManager，NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager，TaskManager启动后向JobManager发送心跳包，并等待JobManager向其分配任务。

四、Flink任务调度原理