JVM OOM 排查

1、jdk 自带基础工具

2、MAT 分析dump

3、VM 实时监控

4 、遇到过OOM

内存溢出有哪些

1、Java堆溢出 (java.lang.OutofMemoryError:Java heap space)

2、PermGen space

3、StackOverflowError(虚拟机在扩展栈时无法申请到足够的内存空间)

4、直接崩溃

内存溢出与泄漏

内存溢出 out of memory:

是指程序在申请内存时,没有足够的内存空间供其使用,出现out of memory;

内存泄露 memory leak,

是指程序在申请内存后,无法释放已申请的内存空间,一次内存泄露危害可以忽略,但内存泄露堆积后果很严重,无论多少内存,迟早会被占光

一、jdk 自带基础工具


1、 ** jps(Java Virtual Machine Process Status Tool) **

实际中这是最常用的命令,下面要介绍的小工具更多的都是先要使用jps查看出当前有哪些Java进程,获取该Java进程的id后再对该进程进行处理。

jps [options] [hostid]

-q 不输出类名、Jar名和传入main方法的参数
-m 输出传入main方法的参数
-l 输出main类或Jar的全限名
-v 输出传入JVM的参数

[root@iZbp11b3erzreb4xi5utvzZ /]# jps -ml

22611 /usr/lib/jenkins/jenkins.war --logfile=/var/log/jenkins/jenkins.log --webroot=/var/cache/jenkins/war 740 org.apache.catalina.startup.Bootstrap start19942 org.apache.zookeeper.server.quorum.QuorumPeerMain /mnt/zk/zookeeper-3.4.13/bin/../conf/zoo.cfg20537 sun.tools.jps.Jps -ml11309 org.sonatype.nexus.bootstrap.jsw.JswLauncher ./conf/jetty.xml ./conf/jetty-requestlog.xml32190 org.apache.catalina.startup.Bootstrap start

2、 jstack

jstack 主要用来查看某个Java进程内的线程堆栈信息。语法格式如下:

jstack [option] pid

jstack [option] executable core

jstack [option] [server-id@]remote-hostname-or-ip

pid: java应用程序的进程号,一般可以通过jps来获得;

executable:产生core dump的java可执行程序($JAVA_HOME/bin/java);

core:打印出的core文件;(jvm崩溃产生的core文件,从hs_err_pid log file 查看)

emote-hostname-or-ip:远程debug服务器的名称或IP

server-id: 唯一id,假如一台主机上多个远程debug服务;

option 说明如下:

-l,会打印出额外的锁信息,在发生死锁时可以用jstack -l pid来观察锁持有情况

-m 不仅会输出Java堆栈信息,还会输出C/C++堆栈信息(比如Native方法)

jstack -l pid

JVM OOM 排查_第1张图片
image

RUNNABLE,在虚拟机内执行的。运行中状态,可能里面还能看到locked字样,表明它获得了某把锁。

BLOCKED,受阻塞并等待监视器锁。被某个锁(synchronizers)給block住了。

WATING,无限期等待另一个线程执行特定操作。等待某个condition或monitor发生,一般停留在park(), wait(), sleep(),join() 等语句里。

TIMED_WATING,有时限的等待另一个线程的特定操作。和WAITING的区别是wait() 等语句加上了时间限制 wait(timeout)。

TERMINATED,已退出的。

查看耗时线程

top -Hp pid

JVM OOM 排查_第2张图片
image

printf "%x\n" 21226

获取耗时线程id 的十六进制

52ec

获取耗时信息

[root@2 logs]# jstack 21222 | grep 52ec

"GC task thread#3 (ParallelGC)" os_prio=0 tid=0x00007fee24027000 nid=0x52ec runnable

3、jmap(Memory Map)

jmap导出堆内存,然后使用jhat来进行分析

jmap [option] pid
jmap [option] executable core
jmap [option] [server-id@]remote-hostname-or-ip

参数如下:

-heap:打印jvm heap的情况
-histo:打印jvm heap的直方图。其输出信息包括类名,对象数量,对象占用大小。

-histo:live :同上,但是只打印存活对象的情况

-permstat:打印permanent generation heap情况(持久代)

输出 类加载器名称、对象是否存活、对象地址、父类加载器、已加载的类大小等信息

-dump: 打印 dump(内存使用) 日志文件

jmap -heap pid

查看进程堆内存使用情况:****包括使用的GC算法、堆配置参数和各代中堆内存使用

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -heap 32326

Attaching to process ID 32326, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 25.161-b12

using thread-local object allocation.

Parallel GC with 4 thread(s)

Heap Configuration:

MinHeapFreeRatio = 0

MaxHeapFreeRatio = 100

MaxHeapSize = 536870912 (512.0MB)

NewSize = 201326592 (192.0MB)

MaxNewSize = 201326592 (192.0MB)

OldSize = 335544320 (320.0MB)

NewRatio = 2

SurvivorRatio = 8

MetaspaceSize = 21807104 (20.796875MB)

CompressedClassSpaceSize = 1073741824 (1024.0MB)

MaxMetaspaceSize = 17592186044415 MB

G1HeapRegionSize = 0 (0.0MB)

Heap Usage:

PS Young Generation

Eden Space:

capacity = 121634816 (116.0MB)

used = 105409240 (100.52608489990234MB)

free = 16225576 (15.473915100097656MB)

86.6604180171572% used

From Space:

capacity = 38797312 (37.0MB)

used = 6225208 (5.936820983886719MB)

free = 32572104 (31.06317901611328MB)

16.045462118612754% used

To Space:

capacity = 39845888 (38.0MB)

used = 0 (0.0MB)

free = 39845888 (38.0MB)

0.0% used

PS Old Generation

capacity = 335544320 (320.0MB)

used = 19401584 (18.502792358398438MB)

free = 316142736 (301.49720764160156MB)

5.782122611999512% used

19968 interned Strings occupying 2526840 bytes.

jmap -histo[:live] pid

查看堆内存中的对象数目、大小统计直方图,如果带上live则只统计活对象

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -histo 32326

num #instances #bytes class name


1: 351157 49044840 [C

2: 140145 26768472 [B

3: 30637 18927560 [I

4: 191987 4607688 java.lang.String

5: 46693 3523560 [Ljava.lang.Object;

6: 27813 2447544 java.lang.reflect.Method

7: 30591 2447048 [S

8: 58522 2340880 java.util.TreeMap$Entry

9: 81040 1683096 [Ljava.lang.Class;

10: 38542 1541680 java.util.HashMap$KeyIterator

11: 44546 1069104 java.lang.StringBuilder

12: 18696 1046976 java.util.concurrent.ConcurrentHashMap$KeyIterator

13: 37638 903312 java.util.Collections1

14: 10197 896216 [Ljava.util.HashMap$Node;

15: 7902 879416 java.lang.Class

class name是对象类型,说明如下:

B byte

C char

D double

F float

I int

J long

Z boolean

[ 数组,如[I表示int[]

[L+类名 其他对象

jmap -dump:format=b,file=dumpFileName pid

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -dump:format=b,file=/mnt/d.bat 32326

Dumping heap to /mnt/d.bat ...

Heap dump file created

问题:

这些工具真靠谱吗?

大应用异常下 直接使用jmap jstack 根本无法加载内存信息或者耗时很久?

有什么可以替代吗?

gcore?


二、MAT 分析Dump

Dump 是什么

Dump是反应Java堆使用情况的内存镜像,其中主要包括系统信息、虚拟机属性、完整的线程Dump、所有类和对象的状态等。 一般,在内存不足、GC异常等情况下,我们就会怀疑有内存泄漏。这个时候我们就可以制作堆Dump来查看具体情况。分析原因。

Dump 文件的分析有多种方式

1、命令jhat 分析(麻烦)

  2、**VisualVM** 工具分析 

  3、MAT 分析

MAT分析

J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling(剖析面),叫做HPROF

Shallow Size

对象自身占用的内存大小,不包括它引用的对象。

针对非数组类型的对象,它的大小就是对象与它所有的成员变量大小的总和。当然这里面还会包括一些java语言特性的数据存储单元。

针对数组类型的对象,它的大小是数组元素对象的大小总和。

Retained Size

Retained Size=当前对象大小+当前对象可直接或间接引用到的对象的大小总和。(间接引用的含义:A->B->C, C就是间接引用)

换句话说,Retained Size就是当前对象被GC后,从Heap上总共能释放掉的内存。

不过,释放的时候还要排除被GC Roots直接或间接引用的对象。他们暂时不会被被当做Garbage。

**List objects --> with outgoing references **

:查看当前对象持有的外部对象引用(在对象关系图中为从当前对象指向外的箭头)

**List objects --> with incoming references **

:查看当前对象被哪些外部对象所引用(在对象关系图中为指向当前对象的箭头)

三、VM 实时监控

四、遇到过OOM

1、刚开始用eclipse 开发 ,没事就本地OOM

2、DateForm oom

3、POI 导出xls 包含图片

4、万恶的死循环

5、hashmap

6、websocket 大内存长久占用

事故:

1、遇到fullgc 了,oom了?完蛋

2、抓不出来dump ?完蛋

3、jmap、jstack 都用不了?完蛋

1、记录时间点

2、抓住一切日志可用日志(应用日志)

3、慢慢分析

参考

GC:https://www.cnblogs.com/wozixiaoyao/p/5658950.html

jstack:https://www.jianshu.com/p/08b816d9b34f

executable core:https://lydawen.iteye.com/blog/2215300

内存划分:https://www.cnblogs.com/haitaofeiyang/p/8392268.html

mat:http://www.cnblogs.com/trust-freedom/p/6744948.html#histogram

oom:https://mp.weixin.qq.com/s/kJe8WScwB4XcqRNE2vM7EA?

你可能感兴趣的:(JVM OOM 排查)