Flink入门之部署（二）

三种部署模式

1. standalone集群，会话模式部署：先启动flink集群

   • web UI提交
   • shell命令提交：bin/flink run -d -m hadoop102:8081 -c com.atguigu.flink.deployment.Flinke1_NordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102 --port 8888

2. standalone集群，应用模式部署：无需先启动集群，直接提交任务，集群会自动启动，任务取消后集群会自动关闭

   • shell命令：bin/standalone-job.sh start --job-classname com.atguigu.flink.deployment.Flinke1_NordCount --hostnamehadoop102 --port 8888

3. Yarn集群，会话模式部署：

   • 先启动hadoop集群和yarn调度器
   • 使用命令提交flink任务作为AM，同时作为flink的jobManager
   • bin/f1ink run -d -c com.atguigu.f1ink.deployment.F1inke1_NordCount ./Flink-1.0-SNAPSHOT. jar --hostnamehadoop102 --port 8888

4. Yarn集群，单作业模式部署

   • 先关闭相关的集群
   • bin/flink run -d -t yarn-per-job -c com.atguigu.flink.deployment.Flinke1_wordCount./Flink-1.O-SNAPSHOT.jar --hostname hadoop102 --port 8888

5. Yarn集群，应用模式部署

   • 关闭已经在运行的集群
   • bin/flink run-application -t yarn-application -c com.atguigu.flink.deployment.Flinke1_WordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102–port 8888

常用集群操作

1. 查看集群所有的作业信息: bin/flink list -a -yid application_1701654241932_0004
2. 取消集群中的某个作业： bin/flink cancel -yid application_1701654241932_0004 7a5493050dd412efa1334745e6dd0o81

jar包优化

1. 在HDFS中创建flink-jars目录
2. 将flink的整个lib目录上传到flink-jars目录下
3. 提交作业时，需添加一个参数-D/yarn.provided.lib.dirs="hdfs:hadoop102:8020/flink-jars"

历史服务器

1. 在HDFS新建目录flink-logs
2. 在flink 中修改flink.yaml
   • jobmamager.archive.fs.dir: 填写存放路径，即flink-logs
   • historyserver.web.address:hadoop102
   • history.web.port:8082
   • historyserver.archive.fs.refresh-interval:10000, 刷新间隔
3. 分发配置文件，之后修改各自的taskmanager主机
4. 启动命令 bin/historyserver