实时流计算 Flink - 实战与干货

Flink 的基本架构图

从整体的架构图中可以看到，对于完整的Flink来说，可以分为Flink Client客户端，JobManager 和 TaskManager三个部分。而个组件之间的通信时通过Akka Framework来完成的。

Flink Client 客户端

Flink客户端负责体提交 / 取消 / 更新任务到JobManager，而JobManager会对状态以及统计数据进行反馈。

// set up the execution environment
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

...

// execute job
env.execute("my-flink-job")

在提交任务之前，Flink会根据用户提交代码生成StreamGraph。而生成的流式图，可以通过如下方式：env.getExecutionPlan()获取对应的json，然后将json粘贴到 可视化界面，即可获得对用的流失图。

JobManager

JobManager负责整个集群的任务调用以及资源的管理。JobManager作为整个集群的Master节点，控制着部署 / 取消 / 更新TaskManager里面的任务，同时负责管理任务状态，心跳以及统计。

TaskManager

TaskManager相当于整个集群的Slave节点，负责具体的任务执行以及资源的申请与管理。TaskManager在接受到需要部署的任务后，使用slot资源启动任务，不同的TaskManager之间时通过NetManager走网络连接完成数据流动。

参考文章：
1、Flink 原理、实战与性能优化
2、Flink 原理与实现：架构和拓扑概览