EAS服务器内存溢出、宕机解决方案-Heapdump与JavaCore分析
转自 http://121.32.28.234:8800/kdwiki/index.php?doc-view-121.html
主要是为了自己学习HeapDump的分析，这是一篇好文章。
EAS服务器内存溢出、宕机解决方案
场景描述： EAS服务器运行一段时间后，客户端与portal登陆时，出现内存溢出的错误。有时甚至出现服务器直接宕机了，管理控制台也启动不了，客户端与portal都连接超时，必须使用EAS自带的stopserver.sh命令去终止服务器再重启。
解决思路：
1、情报收集
内存溢出后，到EAS服务器目录：eas\server\profiles\server*\bin下，看是否有类似：heapdump.20110718.120928.3804.0010.phd和Javacore*.txt的文件生成。（注：默认情况下，如果使用sunjdk内存溢出时是不自动生成此类文件的，只有用ibmjdk才会自动生成。）如果没有找到此类文件，请切换EAS服务器使用ibmjdk，重启服务器后继续观察。（具体切换步骤请看附录2）。
2、分析Heapdump文件和Javacore文件
ØHeap Dump：JVM内存Dump（HeapDump文件）。通过对它的分析可以快速诊断导致内存消耗的原因。Heapdump文件包含了在堆内存中的所有对象，可以理解为系统发生内存溢出（OutOfMemory，即OOM）时堆内存的快照。
ØJavacore：与heapdump对应的线程堆栈信息，一般通过对它的分析可定位到发生内存溢出的功能点。
ØHeap Dump分析工具：Heap Analyzer 下截地址：http://www.alphaworks.ibm.com/tech/heapanalyzer/download
一般情况下，解析heapdump文件需要64位的jdk，并要求机器内存>=4G。因此一般都需要用客户的测试服务器或服务器上进行解析，普通的PC机完成此项任务。
Ø工具准备好后，可到命令行下启动Heap Analyzer工具。
命令如下：C:\Kingdee7\eas\jdk\bin\java -Xmn512m –Xmx4000m -jar ha414.jar
（如果解析过程中内存溢出，可跟据实际情况调大–Xmx这个参数）
2.1打开HeapDump文件
Heap Analyzer工具打开后，点击以下图标选择打开heapdump文件：
1、打开heapdump文件会消耗系统的CPU、内存资源，系统性能会有所下降。建议尽量不在客户正式环境执行！如果实在没有其他机器，正式环境资源充足，且问题比较紧急，可以尝试使用正式环境。打开分析完后及时关闭以释放资源。
2、在打开过程中，出现如下图形，说明工具设置的最大内存不够，不能打开该文件，需采用ibm jdk来设置更大的最大内存来打开
2.1 HeapDump文件的分析
名称解释
Root object：没有任何一个对象引用（持有）它
Parent object：对象A引用X，引用Y等（A—>X , A—>Y…），A就是父对象
Child object：对象X被A引用，被B引用等（A—>X , B—>X…），X就是子对象。
Owner object：因为子对象可能被多个父对象引用，但只能为其中一个父对象所有，这个父对象就是Owner object。Total size的计算会涉及到Owner object，这是为了避免重复计算
Size ：对象自身的大小（持有该对象的指针在内存中占用的大小）
Total Size：对象自身及子对象的和
功能介绍
1，界面打开后初始状态如下，主要对tree view这个视图进行分析，可最大化这个视图
2 、tree view中每一行的结构如下：
TotalSize（占用总内存百分比）[对象自身大小]子对象个数对象名称内存地址
3、泄漏一般发生在那些拥有“超乎寻常多”的引用（子节点）的class上，正是这些创建后没有释放、累积了成千上百的对象，造成了OutOfMemory。通过“Locate a leak suspect”和“Go to the largest drop in subtrees”可快速定位到子对象多的对象位置。
4、通过“show from roots”可以回到根节点
5、 通过“List same type”可以列出所有在内存中和该对象相同类型的对象。
附录1：
示例1
选中占比最大的那个对象，右键选择“Locate a leak suspect”：
或者也可以直接点击“Subpoena Leak Suspect(s)”，然后选择占比最大的对象：
可以看到如下：
步骤2 右键展开上图中LRUMap对象，如下
步骤 3 对上图中的RowSetSqlDec对象右键点“List same type”，可看到该对象有3001个，共占用了700多M内存：
示例2（结合javacore文件进行分析）
主要内存占用在如下三个部分
展开上述内存占用
与调拔入库单相关的对象(分录)占用了2百多兆
还是与库存相关的对象(单据头)相关占用1百多兆
与调拔入库单相关的对象共占用4百多兆内存,
分析javacore文件（用dump文件中的看到的关键字MoveInWareBill来搜索）,摘取的线程堆栈如下:
at java/lang/String.toLowerCase(String.java:1143(Compiled Code))
at com/kingdee/eas/scm/common/app/AbstractSCMBillBaseControllerBean._getCollection(AbstractSCMBillBaseControllerBean.java:181)
at com/kingdee/eas/scm/im/inv/app/AbstractInvBillBaseControllerBean._getCollection(AbstractInvBillBaseControllerBean.java:174)
at com/kingdee/eas/scm/im/inv/app/AbstractMoveInWarehsBillControllerBean._getCollection(AbstractMoveInWarehsBillControllerBean.java:173)
at com/kingdee/eas/scm/im/inv/app/AbstractMoveInWarehsBillControllerBean.getMoveInWarehsBillCollection(AbstractMoveInWarehsBillControllerBean.java:161)
at com/kingdee/bos/transaction/EJBTxFacade/TxInvokerBean_LocalObjectImpl_2.INVOKE_SUPPORTS(Bytecode PC:4(Compiled Code))
at $Proxy591.getCollection(Bytecode PC:22)
at com/kingdee/bos/framework/DynamicObject.invoke(DynamicObject.java:57(Compiled Code))
at com/kingdee/bos/framework/DynamicObject.getCollection(DynamicObject.java:246)
at com/kingdee/eas/base/dap/app/DAPAppTools.execDataFilterMultiEntry(DAPAppTools.java:75(Compiled Code))
at com/kingdee/eas/base/dap/app/DAPTransformerControllerBean._innerTransform(DAPTransformerControllerBean.java:1028)
at com/kingdee/eas/base/dap/app/DAPTransformerControllerBean._transformForBotp(DAPTransformerControllerBean.java:1131)
at com/kingdee/eas/base/dap/app/DAPTransformerControllerBean._transform(DAPTransformerControllerBean.java:813)
at com/kingdee/eas/base/dap/app/DAPTransformerControllerBean._generateVoucher(DAPTransformerControllerBean.java:649)
at com/kingdee/eas/scm/common/app/SCMBillBaseControllerBean._generateVoucher(SCMBillBaseControllerBean.java:1057)
通过线程堆栈可以看出:调拔入库单生成凭证内存占用过大,导致溢出宕机
附录2:如何切换EAS的运行时环境？
在eas\server\profiles\server*\bin目录下，找到set-server-env.bat(sh)文件。将JAVA_HOME变量的值设置为imbjdk的路径。如果找不到JAVA_HOME这个变量，请直接添加。如下图：