JVM OOM 排查

1、jdk 自带基础工具

2、MAT 分析dump

3、VM 实时监控

4 、遇到过OOM


内存溢出有哪些

1、Java堆溢出 (java.lang.OutofMemoryError:Java heap space)

2、PermGen space

3、StackOverflowError(虚拟机在扩展栈时无法申请到足够的内存空间)

4、直接崩溃


内存溢出与泄漏

内存溢出 out of memory:

是指程序在申请内存时,没有足够的内存空间供其使用,出现out of memory;

内存泄露 memory leak,

是指程序在申请内存后,无法释放已申请的内存空间,一次内存泄露危害可以忽略,但内存泄露堆积后果很严重,无论多少内存,迟早会被占光

一、jdk 自带基础工具


1、  jps(Java Virtual Machine Process Status Tool) 

实际中这是最常用的命令,下面要介绍的小工具更多的都是先要使用jps查看出当前有哪些Java进程,获取该Java进程的id后再对该进程进行处理。

jps  [options]  [hostid]

-q 不输出类名、Jar名和传入main方法的参数
-m 输出传入main方法的参数
-l 输出main类或Jar的全限名
-v 输出传入JVM的参数

[root@iZbp11b3erzreb4xi5utvzZ /]# jps -ml

22611 /usr/lib/jenkins/jenkins.war --logfile=/var/log/jenkins/jenkins.log --webroot=/var/cache/jenkins/war 740 org.apache.catalina.startup.Bootstrap start19942 org.apache.zookeeper.server.quorum.QuorumPeerMain /mnt/zk/zookeeper-3.4.13/bin/../conf/zoo.cfg20537 sun.tools.jps.Jps -ml11309 org.sonatype.nexus.bootstrap.jsw.JswLauncher ./conf/jetty.xml ./conf/jetty-requestlog.xml32190 org.apache.catalina.startup.Bootstrap start


2、 jstack

    jstack 主要用来查看某个Java进程内的线程堆栈信息。语法格式如下:


jstack  [option]  pid

jstack [option]  executable core

jstack   [option]   [server-id@]remote-hostname-or-ip

pid: java应用程序的进程号,一般可以通过jps来获得;

executable:产生core dump的java可执行程序($JAVA_HOME/bin/java);

core:打印出的core文件;(jvm崩溃产生的core文件,从hs_err_pid log file 查看)

emote-hostname-or-ip:远程debug服务器的名称或IP

server-id: 唯一id,假如一台主机上多个远程debug服务;

option 说明如下:

-l,会打印出额外的锁信息,在发生死锁时可以用jstack -l pid来观察锁持有情况

-m 不仅会输出Java堆栈信息,还会输出C/C++堆栈信息(比如Native方法)


jstack -l  pid 



查看耗时线程

top -Hp pid 

printf "%x\n" 21226

获取耗时线程id 的十六进制

52ec


获取耗时信息

[root@2 logs]# jstack 21222 | grep 52ec

 "GC task thread#3 (ParallelGC)" os_prio=0 tid=0x00007fee24027000 nid=0x52ec runnable 


3、jmap(Memory Map)

     jmap导出堆内存,然后使用jhat来进行分析


jmap [option] pid
jmap [option] executable core
jmap [option] [server-id@]remote-hostname-or-ip


参数如下:

-heap:打印jvm heap的情况
-histo:打印jvm heap的直方图。其输出信息包括类名,对象数量,对象占用大小。

-histo:live :同上,但是只打印存活对象的情况

-permstat:打印permanent generation heap情况(持久代)

输出 类加载器名称、对象是否存活、对象地址、父类加载器、已加载的类大小等信息

-dump:    打印 dump(内存使用) 日志文件



jmap -heap pid

查看进程堆内存使用情况:包括使用的GC算法、堆配置参数和各代中堆内存使用


[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -heap 32326

Attaching to process ID 32326, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 25.161-b12

using thread-local object allocation.

Parallel GC with 4 thread(s)

Heap Configuration:

  MinHeapFreeRatio        = 0

  MaxHeapFreeRatio        = 100

  MaxHeapSize              = 536870912 (512.0MB)

  NewSize                  = 201326592 (192.0MB)

  MaxNewSize              = 201326592 (192.0MB)

  OldSize                  = 335544320 (320.0MB)

  NewRatio                = 2

  SurvivorRatio            = 8

  MetaspaceSize            = 21807104 (20.796875MB)

  CompressedClassSpaceSize = 1073741824 (1024.0MB)

  MaxMetaspaceSize        = 17592186044415 MB

  G1HeapRegionSize        = 0 (0.0MB)

Heap Usage:

PS Young Generation

Eden Space:

  capacity = 121634816 (116.0MB)

  used    = 105409240 (100.52608489990234MB)

  free    = 16225576 (15.473915100097656MB)

  86.6604180171572% used

From Space:

  capacity = 38797312 (37.0MB)

  used    = 6225208 (5.936820983886719MB)

  free    = 32572104 (31.06317901611328MB)

  16.045462118612754% used

To Space:

  capacity = 39845888 (38.0MB)

  used    = 0 (0.0MB)

  free    = 39845888 (38.0MB)

  0.0% used

PS Old Generation

  capacity = 335544320 (320.0MB)

  used    = 19401584 (18.502792358398438MB)

  free    = 316142736 (301.49720764160156MB)

  5.782122611999512% used

19968 interned Strings occupying 2526840 bytes.


jmap -histo[:live] pid

查看堆内存中的对象数目、大小统计直方图,如果带上live则只统计活对象


[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -histo 32326

num    #instances        #bytes  class name

----------------------------------------------

  1:        351157      49044840  [C

  2:        140145      26768472  [B

  3:        30637      18927560  [I

  4:        191987        4607688  java.lang.String

  5:        46693        3523560  [Ljava.lang.Object;

  6:        27813        2447544  java.lang.reflect.Method

  7:        30591        2447048  [S

  8:        58522        2340880  java.util.TreeMap$Entry

  9:        81040        1683096  [Ljava.lang.Class;

  10:        38542        1541680  java.util.HashMap$KeyIterator

  11:        44546        1069104  java.lang.StringBuilder

  12:        18696        1046976  java.util.concurrent.ConcurrentHashMap$KeyIterator

  13:        37638        903312  java.util.Collections$UnmodifiableCollection$1

  14:        10197        896216  [Ljava.util.HashMap$Node;

  15:          7902        879416  java.lang.Class


class name是对象类型,说明如下: 

B byte

C char

D double

F float

I int

J long

Z boolean

[ 数组,如[I表示int[]

[L+类名 其他对象


jmap -dump:format=b,file=dumpFileName pid

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -dump:format=b,file=/mnt/d.bat 32326

Dumping heap to /mnt/d.bat ...

Heap dump file created

问题:

这些工具真靠谱吗?

大应用异常下 直接使用jmap jstack 根本无法加载内存信息或者耗时很久?

有什么可以替代吗?

gcore?



二、MAT 分析Dump

Dump 是什么

Dump是反应Java堆使用情况的内存镜像,其中主要包括系统信息、虚拟机属性、完整的线程Dump、所有类和对象的状态等。 一般,在内存不足、GC异常等情况下,我们就会怀疑有内存泄漏。这个时候我们就可以制作堆Dump来查看具体情况。分析原因。

Dump 文件的分析有多种方式

      1、命令jhat 分析(麻烦)

      2、VisualVM 工具分析 

      3、MAT 分析


MAT分析

J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling(剖析面),叫做HPROF


Shallow Size 

对象自身占用的内存大小,不包括它引用的对象。 

针对非数组类型的对象,它的大小就是对象与它所有的成员变量大小的总和。当然这里面还会包括一些java语言特性的数据存储单元。 

针对数组类型的对象,它的大小是数组元素对象的大小总和。 

Retained Size 

Retained Size=当前对象大小+当前对象可直接或间接引用到的对象的大小总和。(间接引用的含义:A->B->C, C就是间接引用) 

换句话说,Retained Size就是当前对象被GC后,从Heap上总共能释放掉的内存。 

不过,释放的时候还要排除被GC Roots直接或间接引用的对象。他们暂时不会被被当做Garbage。 

List objects --> with outgoing references 

:查看当前对象持有的外部对象引用(在对象关系图中为从当前对象指向外的箭头)

List objects --> with incoming references 

:查看当前对象被哪些外部对象所引用(在对象关系图中为指向当前对象的箭头)


三、VM 实时监控

四、遇到过OOM

   1、刚开始用eclipse 开发 ,没事就本地OOM

   2、DateForm oom

   3、POI 导出xls 包含图片

   4、万恶的死循环

   5、hashmap

   6、websocket 大内存长久占用


事故:

   1、遇到fullgc 了,oom了?完蛋

   2、抓不出来dump ?完蛋

   3、jmap、jstack 都用不了?完蛋



1、记录时间点

2、抓住一切日志可用日志(应用日志)

3、慢慢分析



参考

GC:https://www.cnblogs.com/wozixiaoyao/p/5658950.html

jstack:https://www.jianshu.com/p/08b816d9b34f

executable core:https://lydawen.iteye.com/blog/2215300

内存划分:https://www.cnblogs.com/haitaofeiyang/p/8392268.html

mat:http://www.cnblogs.com/trust-freedom/p/6744948.html#histogram

oom:https://mp.weixin.qq.com/s/kJe8WScwB4XcqRNE2vM7EA?

你可能感兴趣的:(JVM OOM 排查)