陌生系统故障排查记录(一)-Confluence内存溢出

Confluence内存溢出故障排查记录

在各开发团队使用敏捷进行项目管理之后，公司又推出了jira+confluence的团队协同开发管理平台，但在最近却接连出现confluence宕机的故障。因为有过类似排查解决java项目线上问题的经验，所以应邀帮忙进行故障的排查，下面将具体过程做了记录以便分享。

问题排查过程

已知信息

• confluence服务器的IP、账号和密码
• confluence宕机时间
• confluence日常基本使用经验

信息收集

1.登录confluence服务器首先ps -ef|grep confluence查看了一下confluence的进程信息。获取到了confluence目录、启动参数等重要信息：

• jdk版本和JVM大小：*/usr/java/jdk1.8.0_66/jre/bin/java -Xms1024m -Xmx4096m

• GC信息：-XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=23 -XX:ConcGCThreads=6
• 内存溢出会生成dump文件：-XX:+HeapDumpOnOutOfMemoryError

2.查看confluence下面各级目录，重点关注log、conf、bin、data。又获取到一些有用信息：

confluence其实就是一个基于tomcat的java web工程，虽然confluence不熟悉但是tomcat和java还是熟悉的领域

• 查看gc日志，发现在confluence宕机之前，一直在频繁的进行Full GC，但是jvm内存并没有并回收，直到挂掉重启，这应该是导致confluence宕机的直接原因

  
  
  

• 查看tomcat的catalina.out日志，有OutOfMemoryError报错，并且生成了heap dump文件

• 启动参数中没有配置HeapDump文件生成目录，默认会生成在程序启动目录bin下面，发现了java_pid889.hprof

HeapDump分析

经过上面信息收集，确认是存在内存溢出导致的，下面就是分析heap dump文件了，这里使用的是Eclipse Memory Analyzer，由于内存超4G需要下载64位MAT
1.修改MemoryAnalyzer.ini配置文件，dump文件大小为5.8g，所以调大MAT最大内存，文件结尾添加参数-Xmx12240m
2.使用MAT选择打开java_pid889.hprof，等待分析完成查看分析报告

• 分析报告饼图中列出了主要占用内存的块，并标注出四个可疑问题

  
  
  

  Leak Suspects

• 查看Problem Suspect 1，是一个conversion线程，占用了20.62的JVM堆内存，点击See stacktrace获取线程的栈信息。通过类和方法名，大约可以猜测线程是confluence的负责文件的转换的插件，在使用aspose的包生成缩略图的时候，发生了内存泄漏。

  
  
  

• 继续查看Problem Suspect 2、3、4，内部都是占用了大量的com.aspose.imaging.internal.z.e[]对象，和Problem Suspect 1中占用的完全相同，所以能确认这四个可疑问题属于同一个，下面是Problem Suspect 1中Object占用情况

  
  
  

  Problem Suspect 1 Object

Google

从上面分析后的结果，并结合平时使用confluence的经验。confluence作为共享空间，可以上传各类文档，并且会自动在页面生成文档的缩略图。故障原因应该用户大量上传文档，第三方包aspose生成缩略图的时候产生了内存溢出。可以进一步大胆的推测，aspose生成缩略图的算法可能是将文件全部加载到内存，当文档过大或者同时上传文档过多的情况下会导致内存溢出。根据tomcat日志找到记录的http请求用户名，通过社交手段（电话）确认用户当时的确是在大量上传文档。
虽然原因找到了，但是问题并没有得到解决，我一向认为善于使用google的程序员才是合格的程序员（当然还包括Stack Overflow、Github等），因为你遇到的99%的问题别人可能都遇到过。通过上面的分析得到了几个关键字confluence、Conversion、OutOfMemoryError、aspose，相互组合几次很快就查到了想要的结果。

• confluence bug issue界面：File Conversion Service causes Sustained CPU Spike，此bug已经在5.10.4版本解决
• confluence bug issue界面：File Conversion Service causes OutOfMemoryError ，此bug尚未解决
• confluence 知识空间界面：File conversion service causes out of memory errors in Confluence 5.7 or above ，提供了具体的解决办法。

最后大概描述一下故障产生的原因和影响范围。在CONF-38233里就已经提出了File Conversion Service会导致CPU高和OutOfMemoryError，会影响5.4.2和5.7以上的版本，但atlassian公司在5.10.4版本只修复了CPU高的问题，在5.7以上版本仍然会存在可能会导致内存溢出的bug。在知识空间中提出了一些临时的监控和解决办法：

• 打开文件转换服务日志 ，进行监控
• 增加JVM大小
• 修改文件转换服务线程数
• 把文件转换服务功能禁用

总结

不断挖掘收集信息，筛选出有用部分，结合经验抓住重点，关键是善用google。