kafka 0.9版本堆外内存溢出

1、背景

线上kafka是0.9版本，最大堆内存1G。

从server.log看到，java.lang.OutOfMemoryError: Direct buffer memory，是堆外内存溢出了。

加大堆外内存，过一段时间还是堆外内存溢出。

2、原因分析

猜测应该是禁用了手动 GC 导致的，同事升级kafka版本到1.0，没有再重现过。

我看了kafka 0.9版本的启动脚本，确实禁用了手动GC(-XX:+DisableExplicitGC)。

申请堆外内存的时候，会调用System.gc();，-XX:+DisableExplicitGC 会导致 System.gc(); 失效，然后就内存溢出了。

参考链接

3、解决方案

a.升级kafka版本到1.0，

b.或者去掉-XX:+DisableExplicitGC，如果使用ConcurrentMarkSweep(CMS)垃圾回收器，可以改成 -XX:+ExplicitGCInvokesConcurrent，把FullGC变成并发的。

4、思考

kafka作为全球著名的开源软件，也存在过这样的问题，说明伟大的软件也是一步一步进化的。

勇敢的参与到开源大潮中去吧，我辈也可以添砖加瓦，并从中学习进步。