flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

背景

最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因

错误原因

详细的日志堆栈如下:

Caused by: java.lang.IllegalStateException: Buffer pool is destroyed.
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestMemorySegment(LocalBufferPool.java:337)
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestBufferBuilder(LocalBufferPool.java:279)

首先这个错误是TaskManager抛出的，Buffer pool是用于网络通知的缓存区，当TaskManager向下游发送网络数据时，会首先从Buffer pool申请内存用于存放要发送的数据，而当Netty框架收到上游TaskManager发送的网络数据时，也是先从Buffer pool中申请内存用于存放接收到的网络数据，意思就是说TaskManager网络通信时都需要用到Buffer pool，那么什么情况下Buffer pool is destroyed，也就是网络环境被关闭呢？绝大部分原因是因为TaskManager crash down，也就是TaskManager宕机了或者是TaskManager restart前在关闭的过程中的报错. 所以收到这个错误我们应该去顺着查找TaskManager容器的错误，例如发生了作业失败导致的restart之类的错误