kafka 0.9版本堆外内存溢出

1、背景

线上kafka是0.9版本,最大堆内存1G。

从server.log看到,java.lang.OutOfMemoryError: Direct buffer memory,是堆外内存溢出了。

加大堆外内存,过一段时间还是堆外内存溢出。

2、原因分析

猜测应该是禁用了手动 GC 导致的,同事升级kafka版本到1.0,没有再重现过。

我看了kafka 0.9版本的启动脚本,确实禁用了手动GC(-XX:+DisableExplicitGC)。

申请堆外内存的时候,会调用System.gc();,-XX:+DisableExplicitGC 会导致 System.gc(); 失效,然后就内存溢出了。

参考链接

3、解决方案

a.升级kafka版本到1.0,

b.或者去掉-XX:+DisableExplicitGC,如果使用ConcurrentMarkSweep(CMS)垃圾回收器,可以改成 -XX:+ExplicitGCInvokesConcurrent,把FullGC变成并发的。

4、思考

kafka作为全球著名的开源软件,也存在过这样的问题,说明伟大的软件也是一步一步进化的。

勇敢的参与到开源大潮中去吧,我辈也可以添砖加瓦,并从中学习进步。

你可能感兴趣的:(kafka)