提交Flink的jar包到Yarn上,web界面log报错

在hadoop环境下运行flink的batch程序:

./flink run /home/hadoop/proj/wordcount.jar --input hdfs://mycluster/flinkProjectData/111.txt

一段时间后,flink的web界面上,taskmanager和jobmanager下的logs分别出现error:

taskmanager:

ERROR org.apache.flink.runtime.rpc.akka.AkkaRpcActor 
-caught exception while executing runnable in main thread.
......
Caused by:java.io.IOException:The rpc invocation size exceeds the maximum akka framesize.

jobmanager:

ERROR org.apache.flink.runtime.blob.BlobServerConnection GET operation failed

而且在master上出现了以下进程:

YarnTaskExecutorRunner
CliFrontend
FlinkYarnSessionCli

问:是否代表集群没有起到作用,仍然是单机在跑?

答:https://blog.csdn.net/lb812913059/article/details/86601150

出现CliFrontend是因为Flink的提交模式:

提交Flink的jar包到Yarn上,web界面log报错_第1张图片

如果文件比较小,就不会报错,文件在1G左右,就会报错。

(1)YarnTaskExecutorRunner是taskmanager,只有一个,web界面也只有一个,这是为何?

(2)Flink HA的配置中,master配置的只有一个,但是提交Flink任务时,就会在三台机器之间随机选择jobmanager,这是为何?


问:运行Flink on Yarn时,master和slave上应该分别有哪些进程呢?

答:https://blog.csdn.net/lmalds/article/details/53669430

提交Flink的jar包到Yarn上,web界面log报错_第2张图片

 

你可能感兴趣的:(Flink)