JVM实战(一): dump文件的产生以及执行shell脚本

1. dump文件产生

1.1 絮絮叨叨

  • 目前,公司使用的OLAP组件实现了k8s容器化

  • 如果使用宿主机磁盘存储日志,pod升级(本人是删除后重建)后,日志数据会丢失

  • 为了保证日志数据不丢失,专门配置了一个基于ceph的rbd盘挂载到/data目录

  • 由于资源问题,每个pod分配的rbd盘大小为50GB

  • jvm的配置:OOM时,产生dump文件然后退出应用;dump文件的path为默认path

    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError
    -XX:+PrintGCDetails
    -XX:+PrintGCDateStamps
    
  • 默认的path刚好是/data目录,一般一个dump文件50多GB

  • 一旦产生,则立马打爆pod的rbd盘

  • 老大的需求: 调研一下,看看dump文件是否能写入宿主机。宿主机那么大的存储,干嘛不利用起来

菜鸟的想法

  1. 确认为什么每次OOM,dump文件都是写入/data目录
  2. 是否可以更改dump文件的写入目录,不再写入/data目录
  3. 宿主机磁盘,在pod文件系统中,挂载的是哪个目录?(找k8s的同事确认挂载关系;验证:在目录中写入超大文件,通过df -lh命令,查看磁盘used是否增大)
  4. 指定dump文件目录,且该目录使用宿主机磁盘,需要做哪些更新?(DockerFile、JVM配置等)
  5. …,以上是自己目前能想到的问题

1.2 dump文件目录

  • 可以通过-XX:HeapDumpPath指定dump文件的目录,甚至可以指定文件名:xxx.hprof
    -XX:HeapDumpPath=/data/dump
    # 或者指定文件名
    -XX:HeapDumpPath=/data/dump/1.hprof
    
  • 未配置-XX:HeapDumpPath时,默认目录为java进程的工作目录,文件名为java_pidxxx.hprof,例如:java_pid85492.hprof
  • 注意: 有些博客说,默认文件名为java___,但自己试验后发现并不是

小知识:如何查看java进程的工作目录?

  • 有可能这个java进程就不是我启动的,我最多能通过ps -ef ps -auxjps等知道该进程的进程号

  • java进程的工作目录,对应linux文件系统中cwd,current working directory

  • 通过上述命令,找到对应的进程id,假设为36

  • 通过查看/proc/36目录下的文件,筛选出该进程的cwd

     ls -l /proc/36 | grep "cwd"
    
  • 通过查看java进程的工作目录,发现启动jvm的目录是/data/xxx

  • 因此,产生dump文件的目录为:/data/xxx

  • 这也与实际发生OOM时,通过du -lhls -lh等命令排查出的dump文件目录一致


参考博客:

  • Linux 查看进程启动路径
  • OutOfMemoryError内存溢出相关的JVM参数

2. 实战:模拟触发OOM

2.1 编写代码,模拟触发OOM

  • 模拟OOM的思路:指定jvm参数,将堆内存设置为10MB;程序需要不少于10MB的buffer区,从而导致OOM

  • 具体代码如下:

    package internet.gc;
    public class GcTest {
        private final static int MB = 1024 * 1024;
        private final static int LEN = 12;
    
        public static void main(String[] args) {
            byte[][] buffer= new byte[LEN][];
            for (int i = 0; i < LEN; i++) {
                buffer[i] = new byte[1 * MB];
            }
            System.out.println("成功初始化byte数组");
        }
    }
    
  • 通过javac命令,编译GcTest.java

  • 通过java命令,执行编译好的class文件,这里需要着重记录一下

2.2 题外话:java命令如何执行带package的class文件

  • 大家平时都习惯使用IDE工具一键运行java程序,忽然让使用java命令编译、执行java程序时,可能都会折腾大半天
  • 按照初学java时的知识,通过java GcTest命令就行了
  • 结果,出错了:错误: 找不到或无法加载主类 GcTest
  • 自己的编译目录为:src/main/java/internet/gc,生成的class文件也在这个目录

方法一:使用完全限定名修饰主类GcTest

  • 首先,需要切换到src/main/java/目录,然后指定类的完全限定名,也就是带包名的类名

    完全限定名类似文件路径,会定位到 internet/gc/GcTest.class文件

  • 最终,java命令如下,能成功执行GcTest类
    java internet.gc.GcTest
    

方法二:借助java -cp选项

  • 通过-cp指定class文件路径的搜索,从而不用切换到src/main/java/目录

    -cp -classpath的缩写,用于指定目录或zip/jar文件的class文件搜索路径

  • 最终,java命令如下:

    java -cp /.../src/main/java internet.gc.GcTest
    
  • 感谢大佬的博客:找不到或无法加载主类怎么解决?

2.3 设置JVM参数,观察OOM

  • 本部分的内容,都是在src/main/java目录下,通过javajava -cp命令执行GcTest类的

情况一:使用默认路径(java进程的工作目录)

  • 完整的Java命令

    java -cp  /.../src/main/java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:+PrintGCDetails -Xloggc:./gc.log internet.gc.GcTest
    
  • -XX:+HeapDumpOnOutOfMemoryError:出现OOM时,生成dump文件

  • -XX:+ExitOnOutOfMemoryError:出现OOM后,退出应用程序

  • -Xloggc:./gc.log:gc的日志信息写入当前目录的gc.log文件:

  • 执行结果如下:

    • 提示程序发生OOM,生成dump文件;这是由-XX:+HeapDumpOnOutOfMemoryError控制
    • 打印Terminating due to ...,提示程序因为OOM而终止;这是由-XX:+ExitOnOutOfMemoryError控制
      JVM实战(一): dump文件的产生以及执行shell脚本_第1张图片
  • 最终,src/main/目录下会生成对应的dump文件java_pid87871.hprof,以及gc日志gc.log
    JVM实战(一): dump文件的产生以及执行shell脚本_第2张图片

情况二:指定dump文件路径

  • 通过-XX:HeapDumpPath设置dump文件的路径

    java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:HeapDumpPath=./ -XX:+PrintGCDetails -Xloggc:./gc.log internet.gc.GcTest
    
  • 执行结果如下
    JVM实战(一): dump文件的产生以及执行shell脚本_第3张图片

  • 最终,在当前目录,生成了如下文件
    JVM实战(一): dump文件的产生以及执行shell脚本_第4张图片

情况三:指定dump目录及文件名

  • src/main/java目录下,直接通过java命令执行GcTest,在jvm参数中指定dump路径为./gcTest_dump(在当前目录生成名为gcTest_dump的dump文件)

    java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:HeapDumpPath=./gcTest_dump -XX:+PrintGCDetails -Xloggc:./gc.log internet.gc.GcTest
    
  • 执行结果如下
    JVM实战(一): dump文件的产生以及执行shell脚本_第5张图片

  • 最终,在当前目录,生成了如下文件
    JVM实战(一): dump文件的产生以及执行shell脚本_第6张图片

3. 执行shell脚本

  • 不知道大家有没有这样的需求:
    (1)程序OOM后,先生成dump文件保存现场,方便分析原因
    (2)调用一个发送告警信息的接口,将程序OOM的消息立即通知运维人员以重启服务,而非等到用户炸锅
  • 要是能在产生完dump文件后,执行一个这样的shell脚本就很完美了:通过curl命令访问发送告警信息的接口,向运维人员发送告警
  • 这时候可以考虑使用-XX:OnOutOfMemoryError这个JVM参数

3.1 执行shell命令

  • 先来个简单的:打印服务因为OOM而终止,请排查原因重复服务!

    java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:OnOutOfMemoryError="echo '服务因为OOM而终止,请排查原因重复服务!'"  -XX:+PrintGCDetails -Xloggc:./gc.log internet.gc.GcTest
    
  • 执行结果如下:
    (1)先在工作目录生成dump文件java_pid88150.hprof
    (2)然后执行-XX:OnOutOfMemoryError参数配合的echo命令,用于打印提示信息
    JVM实战(一): dump文件的产生以及执行shell脚本_第7张图片

3.2 执行shell脚本

  • 简单的shell命令无法满足需求,我们希望通过shell脚本执行复杂操作

  • shell脚本示例如下:获取系统时间,打印OOM的时间和相关提示信息

  • 配置shell脚本,通过调用shell脚本完成特定的操作

    java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:HeapDumpPath=./ -XX:OnOutOfMemoryError="./1.sh"  -XX:+PrintGCDetails -Xloggc:./gc.log internet.gc.GcTest
    
  • 执行结果如下
    JVM实战(一): dump文件的产生以及执行shell脚本_第8张图片


参考博客:

  • JVM参数之-XX:+HeapDumpOnOutOfMemoryError(查看dump文件)
  • JVM参数使用手册

4. jmap命令产生dump文件

  • 可能会有这样的需求:
    (1)一定要等到程序OOM才能获取到dump文件吗?要是我就想看看dump文件的结构,而不是分析OOM的原因呢?
    (2)有时候,不一定到等到OOM才需要查看dump文件。程序内存飙高,也可以看看dump文件

  • 这时候,可以使用jmap命令生成指定java进程的dump文件

    jmap -dump:format=b,file=file_name <pid>
    
  • java进程的进程号为36,则jmap命令使用示例如下

    jmap -dump:format=b,file=java_pid36.hprof 36
    

注意事项

  • 启动java进程的用户为xxx,需要通过su xxx切换到该用户才能执行jmap命令

  • 本人在未切换到xxx用户,直接使用root用户时,错误信息如下

    36: well-known file /tmp/.java_pid36 is not secure: file should be owned by the current user (which is 0) but is owned by 1001
    

参考链接:Linux下获取java应用的Dump文件

5. 总结

  • -XX:+HeapDumpOnOutOfMemoryError在OOM时,产生进程的dump文件
  • 若不通过-XX:HeapDumpPath指定dump文件的生成路径,则默认在进程的工作目录生成dump文件;还可以指定dump文件的名称
  • -Xloggc,指定gc日志文件路径(包括文件名)
  • XX:OnOutOfMemoryError,可以指定shell命令、shell脚本、其他脚本等,在OOM时执行一些额外的操作(实践证明,是先产生dump文件,再执行配置)
  • -XX:+ExitOnOutOfMemoryError,OOM后,应用程序直接退出

你可能感兴趣的:(java相关,#,《深入理解Java,虚拟机》,java)