高并发下Netty4底层bug导致直接内存溢出分析

事故记录:

10点游戏开服，迅速冲破2300+单区同时在线

18点15分，运营反应玩家进不了，准备吃饭的人被抓回来排查故障

发现，由于直接内存被占满，一直在Full GC ,并且回收不掉，所以完全不处理玩家请求，通知运维重启服务器，临时解决。

2.考虑了下是不是把RPC连接数量改成了8条，超时改长了了导致，试着把数量减少，超时改成2个小时，发现直接内存随着时间推移还在增加。

3.把内存数据dump了一份下来，发现是netty底层占用比例大大超出了正常水平。

• 输出缓冲区ChannelOutboundBuffer

， Recycler 占了很大比例，问了度娘，没什么有用的信息，找Google,用关键词" ChannelOutboundBuffer out of Direct memory full gc"

搜到一篇文章，发现和我遇到的情况基本一致 ，

Direct memory exhausted after sending many notifications

Recycler could cache infinite resources

Fix a bug where Recycler's capacity can increase beyond its maximum #3203

 Netty.4.0.24.final 版本有个bug,原因是因为缓冲区的数据如果超过了max_capacity的话，if(size==maxCapacity){....}永远不会成立，所以内存占用会无限扩增导致。

更新netty 4.0.25 final版本，继续观察。