Flink运行任务中,出现节点挂掉的现象--已解决

Flink App抛出The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed.此类异常,通过查看日志,一般就是某一个Flink App内存占用大,导致TaskManager(在Yarn上就是Container)被Kill掉。如果代码写的没问题,就确实是资源不够了,其实1G Slot跑多个Task(Slot Group Share)其实挺容易出现的。因此有两种选择。可以根据具体情况,权衡选择一个。

将该Flink App调度在Per Slot内存更大的集群上。
通过slotSharingGroup("xxx"),减少Slot中共享Task的个数

你可能感兴趣的:(flink)