spark 2.3 structured streaming 长时间运行内存溢出排查

structured streaming运行一段时间后，就会出现OOM异常，虽然task会重新执行一次，但会导致系统内存监控报警，经过dump线上堆内存，用mat分析后发现一个占用大量内存的HashMap

image.png

搜索得知是spark2.3的一个bug，升级到2.4可解决
参考 https://www.cnblogs.com/yy3b2007com/p/10177774.html