Flink Application部署方式探索

简介

application模式是为每个job生成一个集群，集群随着job执行完会销毁。
不同点：per-job模式和session模式都是由client执行main方法，下载需要的依赖然后生成JobGraph。
随着提交任务增多，client节点下载依赖所需的带宽和生成JobGraph 产生的cpu消耗会成为整个集群提交任务的瓶颈。
application模式的这个过程是在JobManager上进行的，分散到了不同的节点。

使用范围

这种部署方式时在flink 1.11.0开始出现的。目前仅支持yarn和k8s部署。

提交方式

./bin/flink run-application -t yarn-application \
-Djobmanager.memory.process.size=2048m \
-Dtaskmanager.memory.process.size=4096m \
/home/flink/app-test.jar