Flink集群报错误:akka.pattern.AskTimeoutException: Ask timed out on

官方文档:阿帕奇闪光灯 1.12 文档: 配置 (apache.org)

这个错误是在JobManager关闭期间注册TaskManager时会发生这种情况

在flink-conf.ymal文件中加入:

akka.ask.timeout: 50s
web.timeout: 50000

 akka.ask.timeout 默认为10 s,如果你加长了这个超时时长,会发现仍然解决不了,你得修改 web.timeout 为大于10000才行

the rpc invocation size exceeds the maximum akka framesize解决办法

原因
Flink 使用 Akka作为组件(JobManager/TaskManager/ResourceManager)之间的 RPC框架。在 JobManager 和 TaskManagers 之间发送的消息的最大大小默认为10485760b。如果消息超过这个限制就会失败,报错。

解决办法

flink-conf.yaml中加入akka.framesize参数,调大该值。

akka.framesize: "10485760b"

如果加配置文件不生效,可在启动命令中加入

-yD akka.framesize="204800000b"  -yD akka.ask.timeout=500s -yD web.timeout="5000000"

在使用yarn cluster模式提交flink的任务时候,会涉及到很多内存参数的配置

例如下面的提交命令:

flink run -d -m yarn-cluster  -yjm 512 -ytm 5028  
-yD jobmanager.memory.off-heap.size=64m 
-yD jobmanager.memory.jvm-metaspace.size=128m 
-yD jobmanager.memory.jvm-overhead.min=64m 
-yD  taskmanager.memory.jvm-metaspace.size=128m 
-yD taskmanager.memory.jvm-overhead.max=192m 
-yD taskmanager.memory.network.max=128m 
-yD taskmanager.memory.managed.size=64m -c com.xxx.xxx  ./xxx.jar

详细内容请查阅:

(131条消息) JobManager 内存简介_SparkSql的博客-CSDN博客

(131条消息) Flink调优前必须看懂的TaskManager内存模型_SparkSql的博客-CSDN博客

Flink 1.12 内存和提交参数 - 腾讯云开发者社区-腾讯云 (tencent.com) 

你可能感兴趣的:(flink,大数据)