Flink on yarn参数配置

在flink on yarn模式中，flink yarn-session的两种提交方式

1.公用一个yarn-session

在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。

2.每个job提供一个集群环境
 

 

 

下面以spark-session 案例，简单讲解：

启动运行环境： 

 

 

实际案例:

1)我们启动Yarn：

这个时候web端是没有任务的

2）我们启动一个yarn session（类似预先规定好了资源，然后任务在这里面运行，资源是固定的）：

./bin/yarn-session.sh -n 4 -jm 2048 -tm 4096  -s 2  -d 

启动效果：

web端效果：

杀死yarn任务：

 

屏幕右拖动：

 点击进去，调整到了flink页面，类似spark效果：

然后启动任务：

 

再看web端：

对照上图我们看命令：

./bin/yarn-session.sh -n 4 -jm 2048 -tm 4096  -s 2  -d 

-s 2代表是每个taskManager起了2个slot（默认一个slot一个core，而且我们设置算子的并行度不要超过slots的总数） 

上命令是代表啥意思呢  启动了4个taskManager ：

设置jobManager 的内存大小为 2048 ：

taskManager 内存大小：

 

最后总结：

在flink on yarn模式中，flink yarn-session的两种提交方式

 

 

第一种方式：

首先启动yarn session，并且会启动Flink的两个必要服务：JobManager和TaskManagers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。

 

 

第二种方式 ： 

就是每次提交Flink任务都会创建一个新的Flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。（生产推荐使用，比较灵活）

nohup bin/flink run -m yarn-cluster -yn 7  -s hdfs:///flink/savepoints/savepoint-* -c *.* jars/**** test > Flink-RealtimeDAU.log 2>&1 &

其中的-yn是指TaskManager的个数，必须指定。

参数：

 

案例：