Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flink

YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。

一、部署

flink版本：1.18.0 https://www.apache.org/dyn/closer.lua/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

上传文件并解压

tar -zxvf flink-1.18.0-bin-scala_2.12.tgz -C /opt/bigdata/

分发flink安装目录到2、3、4节点

scp -r /opt/bigdata/flink-1.18.0/ node2:/opt/bigdata/
scp -r /opt/bigdata/flink-1.18.0/ node3:/opt/bigdata/
scp -r /opt/bigdata/flink-1.18.0/ node4:/opt/bigdata/

修改配置文件

vim /etc/profile
# 追加
export HADOOP_CLASSPATH=`hadoop classpath`
# 刷新配置
source /etc/profile

启动集群

./bin/yarn-session.sh -d

浏览器打开flink-ui地址

测试提交作业，控制台会打印结果

bin/flink run examples/batch/WordCount.jar

在页面上可以看到任务状态
停止yarn-session

echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX