02-flink基本架构

02-flink基本架构

flink基本组件栈

flink基本组件栈.png

API&Libraries

​ 同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库

Runtime核心层

​ 主要负责对上层不同接口提供基础服务，也是Flink分布式计算框架的核心实现层，支持分布式Stream的执行、jobGraph到ExecutionGraph的映射转换、任务调度等。将DataStream和DataSet转成统一的可以执行的Task Operator，达到流式引擎下同时处理批处理和流式计算的目的

物理部署层

​ flink的部署模式

flink基本架构

flink基本机构图.png

​ flink整个系统主要由两个组件组成，分别为JobManager和TaskManager，Flink结构也遵循Master-Slave架构设计原则，JobManager为Master节点，TashManager为Worker(Slave)节点。

​ 所有组件之间的通信是借助Akka Framework。

client

​ 客户端负责将任务提交到集群，与JobManager构建Akka连接，然后将任务提交到JobManager，通过和JobManager之间进行交互获取任务执行状态。

JobManager

​ 负责整个Flink集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中的TaskManager上TaskSlot的使用情况，为提交的应用分配相应的TaskSlots资源并命令TaskManager启动从客户端中获取的应用。

TaskManager

​ 客户端将通过编写好的flink应用编译打包，提交到jobManager，然后JobManager会根据已经注册在JobManager中的TaskManager的资源情况，将任务分配给有资源的TaskManger节点，然后启动并运行任务。

​ flink的任务运行其实是采用多线程的方式，这和MapReduce多JVM进程的方式有很大区别；flink能够极大提高CPU使用率，在多个任务和task之间通过taskSlot方式共享系统资源，每个TaskManager中通过管理多个TaskSlot资源池进行对资源有效管理。