记录一次Flink作业异常的排查过程

本文来自:HeapDump性能社区

PerfMa(笨马网络)官网

最近2周开始接手apache flink全链路监控数据的作业，包括指标统计，业务规则匹配等逻辑，计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题，我负责对这个问题进行排查跟进。

第一步，基础排查

首先拿到jobmanager和taskmanager的日志，我从taskmanager日志中很快发现2个基础类型的报错，一个是npe，一个是索引找不到的异常

elasticsearch sinker在执行写入数据的前后提供回调接口让作业开发人员对异常或者成功写入进行处理，如果在处理异常过程中有异常抛出，那么框架会让该task失败，导致作业重启。

npe很容易修复，索引找不到是创建索引的服务中的一个小bug，这些都是小问题。

重点是在日志中我看到另一个错误：

java.lang.OutOfMemoryError: unable to create new native thread
	at java.lang.Thread.start0(Native Method)
	at java.lang.Thread.start(Unknown Source)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.(RecordWriter.java:122)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.createRecordWr