flink简介

Flink简介

其结构图如下：

image.png

Flink架构

Flink的分布式执行主要分成两个重要进程：master和worker。当一个Flink程序执行时，其有多个进程参与该执行过程，如：

• Job Manager

• Task Manager

• Job Client

下面的流程图显示了Flink程序的执行过程：

image.png

Flink应用程序需要首先提交到Job Client，Job Client把该Job提交到Job Manager，Job Manager为该Job分配资源及执行器，其会先分配需要的资源，当资源分配完成后，该任务会提交给每个Task Manager，其中一个接收该任务，该Task Manager初始化一个线程来执行。当该执行器就绪后，这个Task Manager向Job Manager持续上报该Job的变更状态。该Job有多种状态，如：启动，进行中，结束。当这个Job运行结束时，其结果会被发送回提交的client。

Job Manager

Job Manager即为上面master-client中的Master进程，其管理并调整程序的执行。其主要职责包含：调度任务，失败重试等。

可以有多个mster并行运行并共享其职责，通过这种方式来实现高可用，其中一个为leader节点，当leader节点挂了时，其备用节点自动升级为leader。

Job Manager包含以下重要组件：

• Actor System

• Scheduler

• Check pointing

Flink中使用Akka actor来在Job Manager和Task Manager之间进行通信。

Task Manager

Task Manager是worker节点。每个Task Manager上面可用的task slots决定了任务的并行执行，这块和Storm基本类似。

一个Task Manager会把其内存平分到每个slot中，如一个Task Manager有四个slot，其会为每个分配25%的内存。每个slot中又会有多个线程。每个slot中的线程运行在同一JVM中，同一JVM中的任务共享TCP连接和心跳消息。

image.png

Job Client

用于接收用户提交的程序，并创建数据流，把该数据流提交给Job Manager。当程序执行完成后，job client把执行结果返回给用户

其转换数据流类似下面流程：

image.png

数据流直接从source通过map操作是不需要进行shuffle数据的，如果使用GroupBy操作，则Flink需要重根据其key进行重新分布以确保能得到正确的结果，如下：

image.png