JVM垃圾回收机制

参考文章：

http://makaidong.com/u013038861/1/201_10585607.html

http://www.cnblogs.com/loren-Yang/p/7523831.html

http://www.importnew.com/1551.html

http://www.cnblogs.com/laoyangHJ/articles/java_gc.html

http://www.cnblogs.com/wangguoning/p/6109377.html

目录

1、jvm内存结构

2、内存回收条件

3、内存回收算法

4、垃圾收集器

5、G1收集器

6、jvm参数分析

7、server参数设置

一、jvm内存分配

1、概述：

      JVM内存结构由堆、栈、本地方法栈、方法区等部分组成，另外JVM分别对新生代和旧生代采用不同的垃圾回收机制。

                                           

2、堆 

      所有通过new创建的对象的内存都在堆中分配，其大小可以通过-Xmx和-Xms来控制。

      堆被划分为新生代和旧生代，新生代又被进一步划分为Eden和Survivor区，最后Survivor由FromSpace和ToSpace组成，结构图如下所示：

                           

        新生代大小可以由-Xmn来控制，也可以用-XX:SurvivorRatio来控制Eden和Survivor的比例旧生代。

3、栈

      每个线程执行每个方法的时候都会在栈中申请一个栈帧，每个栈帧包括局部变量区和操作数栈，用于存放此次方法调用过程中的临时变量、参数和中间结果

4、本地方法栈

     用于支持native方法的执行，存储了每个native方法调用的状态

5、方法区

      类信息、静态变量、final类型的常量、属性和方法信息。

      JVM用持久代(PermanetGeneration)来存放方法区，可通过-XX:PermSize和-XX:MaxPermSize来指定最小值和最大值。

6、方法区

   线程共享： 所有线程共享

   存储内容： 类型信息

1> 类型信息

   类型的完整有效名

   类型的直接父类的完整有效名

   类型的修饰符(public,abstract,final）

   直接接口的一个有序列表

   类型的常量池

   域信息

   方法信息

   静态变量static

2> 常量池

   类型->用到的常量集合[String常量，integer常量，float常量，类型的符号引用，域的符号引用，方法的符号引用]

3> 域信息

   域名，域类型，域修饰符（public,private,protected,static,final volatile,transient）

4> 方法信息

   方法名，返回类型，参数数量和类型，方法修饰符（public,private,protected,static,final,synchronized,native,abstract）

   除了abastract和native方法外，其他方法还保存方法的字节码操作数栈和方法帧的局部变量区的大小

5> 静态变量

二、内存回收条件

   当新生代，老年代或持久带没有足够空间来为信道的请求分配内存的时候，垃圾回收机制就会启动。

1、次收集

   新生代空间紧张时候触发

2、全收集

   老年代或持久带堆空间满时

  

   jvm垃圾收集：

   新生代收集不过来，存活对象移到老年代

   老年代收集不过来，cms算法收集垃圾

   cms算法收集垃圾后还没有空间，触发全收集

三、内存回收算法

1、按照对象是否能够被回收进行分类：

1> 引用计数算法：

   对于一个对象A，只要有任何一个对象引用了A，则A的引用计数器就加1；当引用失效时，A的引用计数器就减1。只要对象A的引用计数器的值为0时，则对象需要被回收。

   优点：算法简单，效率高

   缺点：很难解决对象之间的相互引用

2> 可达性分析算法

 可达性分析算法会定义一系列GC Roots的对象来作为根节点，从这些节点向下搜索，所走过的路径称为引用链，类似于图的结构。当一个对象从GC Roots开始没有任何的引用链可以到达时，则判定该对象是不可用的，会被判定为可回收的对象。

 GC Roots的对象包括：

    虚拟机栈(栈帧中的本地变量表)中引用的对象

    方法区中类静态属性引用的对象static

    方法区中常量引用的对象final

    本地方法栈中引用的对象jni(native方法)

3> jni原理

    参考：http://blog.163.com/yueyemaitian@126/blog/static/21475796200701491621267/    

    介绍： native关键字说明其修饰的方法是一个原生态方法，方法对应的实现不是在当前文件，而是在用其他语言（如C和C++）实现的文件中。Java语言本身不能对操作系统底层进行访问和操作，但是可以通过JNI接口调用其他语言来实现对底层的访问。

    作用：

        允许java调用其他语言编写的代码和代码库

        Invocation API： 允许程序员从本机代码内部调用java代码

    JNI书写：

        编写带有native声明方法的java类

        使用javac命令编译java类

        使用java -jni 生产后缀名.h的头文件

        使用其他语言实现本地方法(c,c++)

        本地方法编写的文件生产动态链接库

2、按照回收方法分类

   jvm中采用的算法基本都是可达性分析算法

1> 标记-清除算法

   步骤：

        标记需要回收的对象

        回收被标记的对象

   问题：

        效率低——标记和清除效率都低

        碎片——大量不连续内存碎片产生

     

       白色： 空闲  黑色： 垃圾  灰色：存活

2> 复制算法

   步骤：

       存活对象从本块移到另一块内存中

       清除本块内存

   问题：

        空间成本大

      

3> 标记-整理算法

   在标记-清除算法基础上，增加整理内存的过程

   解决空间成本大的问题

       

四、jvm垃圾收集器——hotspot虚拟机

1、多种算法集成

   新生代： 新对象生成快，生存时间段，一般采用复制算法

   旧生代：对象生成时间长，采用标记-整理算法

           如果采用复制算法，大部分对象都长时间生存，每次都需要复制这些对象，成本太高

      

2、新生代收集器——复制算法

1> Serial收集器：

   单线程收集垃圾

   暂停其他线程工作

   client模式下的默认新生代收集器

      

2> ParNew收集器

   多线程收集垃圾

   暂停其他线程工作

   Server模式下首选的新生代收集器

3> Parallel Scavenge收集器

   多线程收集垃圾

   目标： 增大吞吐量(吞吐量=运行用户代码时间/(运行用户代码时间+垃圾收集时间))

           -XX:MaxGCPauseMillis 执行最大垃圾收集停顿时间

          -XX:GCTimeRation 吞吐量

          -XX:+UseAdaptiveSizePolicy 打开后不需要指定新生代大小，eden区和survivor参数

    server模式下默认的新生代收集器

3、旧生代收集器——(标记-整理算法)

1> Serial Old收集器

   单线程收集垃圾

   client模式下使用

2> Parallel Old收集器

   多线程收集垃圾

   注重吞吐量及cpu资源敏感场合：  parallel scavege收集器（新生代）+ parallel Old收集器

     

3> CMS收集器 (Concurrent Mark Sweep)

   场景：注重服务的相应速度

   步骤：

         初始标记： 标记GC Roots直接关联到的对象   stop the world

         并发标记： 标记初始标记的对象出发可达的对象

         重新标记： 修正并发标记期间变动的对象  stop the world

         并发清除

   注意：

         出事标记和重新标记都串行的，需停用用户线程；并翻标记和并发清除阶段是并发的，可以和用户线程一起工作

   优点：并发收集，低停顿

   缺点： 对cpu资源敏感，降低吞吐率

          无法清理浮动垃圾——并发清理阶段，用户现场可以继续运行并产生垃圾

          大量空间碎片

   参数： XX：+UseCMSCompaceAtFullCollection 默认开启，cms收集器顶不住要进行full gc时开启内存碎片的合并整理过程

 

五、G1收集器       

    java堆分为多个大小相等的独立区域

    保留新生代和老年代的概念，但不再是物理隔离

    G1跟踪Region中垃圾堆积的价值大小，维护一张优先表

    根据优先表顺序回收region中的垃圾

   

    整体：标记-整理算法

    局部：复制算法

     步骤：

          初始标记

          并发标记

          最终标记

          筛选回收

      

      CMS的清理过程是并发执行，G1回收阶段是并行执行

六、参数分析

参考： http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html

参数功能介绍

参数名称	含义	默认值
-Xms	初始堆大小	物理内存的1/64(<1GB)	默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制.
-Xmx	最大堆大小	物理内存的1/4(<1GB)	默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制
-Xmn	年轻代大小(1.4or lator)		注意：此处的大小是（eden+ 2 survivor space).与jmap -heap中显示的New gen是不同的。 整个堆大小=年轻代大小 + 年老代大小 + 持久代大小. 增大年轻代后,将会减小年老代大小.此值对系统性能影响较大,Sun官方推荐配置为整个堆的3/8
-XX:NewSize	设置年轻代大小(for 1.3/1.4)
-XX:MaxNewSize	年轻代最大值(for 1.3/1.4)
-XX:PermSize	设置持久代(perm gen)初始值	物理内存的1/64
-XX:MaxPermSize	设置持久代最大值	物理内存的1/4
-Xss	每个线程的堆栈大小		JDK5.0以后每个线程堆栈大小为1M,以前每个线程堆栈大小为256K.更具应用的线程所需内存大小进行 调整.在相同物理内存下,减小这个值能生成更多的线程.但是操作系统对一个进程内的线程数还是有限制的,不能无限生成,经验值在3000~5000左右 一般小的应用， 如果栈不是很深， 应该是128k够用的 大的应用建议使用256k。这个选项对性能影响比较大，需要严格的测试。（校长） 和threadstacksize选项解释很类似,官方文档似乎没有解释,在论坛中有这样一句话:"” -Xss is translated in a VM flag named ThreadStackSize” 一般设置这个值就可以了。
-XX:ThreadStackSize	Thread Stack Size		(0 means use default stack size) [Sparc: 512; Solaris x86: 320 (was 256 prior in 5.0 and earlier); Sparc 64 bit: 1024; Linux amd64: 1024 (was 0 in 5.0 and earlier); all others 0.]
-XX:NewRatio	年轻代(包括Eden和两个Survivor区)与年老代的比值(除去持久代)		-XX:NewRatio=4表示年轻代与年老代所占比值为1:4,年轻代占整个堆栈的1/5 Xms=Xmx并且设置了Xmn的情况下，该参数不需要进行设置。
-XX:SurvivorRatio	Eden区与Survivor区的大小比值		设置为8,则两个Survivor区与一个Eden区的比值为2:8,一个Survivor区占整个年轻代的1/10
-XX:LargePageSizeInBytes	内存页的大小不可设置过大， 会影响Perm的大小		=128m
-XX:+UseFastAccessorMethods	原始类型的快速优化
-XX:+DisableExplicitGC	关闭System.gc()		这个参数需要严格的测试
-XX:MaxTenuringThreshold	垃圾最大年龄		如果设置为0的话,则年轻代对象不经过Survivor区,直接进入年老代. 对于年老代比较多的应用,可以提高效率.如果将此值设置为一个较大值,则年轻代对象会在Survivor区进行多次复制,这样可以增加对象再年轻代的存活 时间,增加在年轻代即被回收的概率 该参数只有在串行GC时才有效.
-XX:+AggressiveOpts	加快编译
-XX:+UseBiasedLocking	锁机制的性能改善
-Xnoclassgc	禁用垃圾回收
-XX:SoftRefLRUPolicyMSPerMB	每兆堆空闲空间中SoftReference的存活时间	1s	softly reachable objects will remain alive for some amount of time after the last time they were referenced. The default value is one second of lifetime per free megabyte in the heap
-XX:PretenureSizeThreshold	对象超过多大是直接在旧生代分配	0	单位字节 新生代采用Parallel Scavenge GC时无效 另一种直接在旧生代分配的情况是大的数组对象,且数组中无外部引用对象.
-XX:TLABWasteTargetPercent	TLAB占eden区的百分比	1%
-XX:+CollectGen0First	FullGC时是否先YGC	false

CMS相关参数

-XX:+UseConcMarkSweepGC	使用CMS内存收集		测试中配置这个以后,-XX:NewRatio=4的配置失效了,原因不明.所以,此时年轻代大小最好用-Xmn设置.???
-XX:+AggressiveHeap			试图是使用大量的物理内存 长时间大内存使用的优化，能检查计算资源（内存， 处理器数量） 至少需要256MB内存 大量的CPU／内存， （在1.4.1在4CPU的机器上已经显示有提升）
-XX:CMSFullGCsBeforeCompaction	多少次后进行内存压缩		由于并发收集器不对内存空间进行压缩,整理,所以运行一段时间以后会产生"碎片",使得运行效率降低.此值设置运行多少次GC以后对内存空间进行压缩,整理.
-XX:+CMSParallelRemarkEnabled	降低标记停顿
-XX+UseCMSCompactAtFullCollection	在FULL GC的时候， 对年老代的压缩		CMS是不会移动内存的， 因此， 这个非常容易产生碎片， 导致内存不够用， 因此， 内存的压缩这个时候就会被启用。 增加这个参数是个好习惯。 可能会影响性能,但是可以消除碎片
-XX:+UseCMSInitiatingOccupancyOnly	使用手动定义初始化定义开始CMS收集		禁止hostspot自行触发CMS GC
-XX:CMSInitiatingOccupancyFraction=70	使用cms作为垃圾回收 使用70％后开始CMS收集	92	为了保证不出现promotion failed(见下面介绍)错误
-XX:CMSInitiatingPermOccupancyFraction	设置Perm Gen使用到达多少比率时触发	92
-XX:+CMSIncrementalMode	设置为增量模式		用于单CPU情况
-XX:+CMSClassUnloadingEnabled

辅助信息

-XX:+PrintGC			输出形式: [GC 118250K->113543K(130112K), 0.0094143 secs] [Full GC 121376K->10414K(130112K), 0.0650971 secs]
-XX:+PrintGCDetails			输出形式:[GC [DefNew: 8614K->781K(9088K), 0.0123035 secs] 118250K->113543K(130112K), 0.0124633 secs] [GC [DefNew: 8614K->8614K(9088K), 0.0000665 secs][Tenured: 112761K->10414K(121024K), 0.0433488 secs] 121376K->10414K(130112K), 0.0436268 secs]
-XX:+PrintGCTimeStamps
-XX:+PrintGC:PrintGCTimeStamps			可与-XX:+PrintGC -XX:+PrintGCDetails混合使用 输出形式:11.851: [GC 98328K->93620K(130112K), 0.0082960 secs]
-XX:+PrintGCApplicationStoppedTime	打印垃圾回收期间程序暂停的时间.可与上面混合使用		输出形式:Total time for which application threads were stopped: 0.0468229 seconds
-XX:+PrintGCApplicationConcurrentTime	打印每次垃圾回收前,程序未中断的执行时间.可与上面混合使用		输出形式:Application time: 0.5291524 seconds
-XX:+PrintHeapAtGC	打印GC前后的详细堆栈信息
-Xloggc:filename	把相关日志信息记录到文件以便分析. 与上面几个配合使用
-XX:+PrintClassHistogram	garbage collects before printing the histogram.
-XX:+PrintTLAB	查看TLAB空间的使用情况
XX:+PrintTenuringDistribution	查看每次minor GC后新的存活周期的阈值		Desired survivor size 1048576 bytes, new threshold 7 (max 15) new threshold 7即标识新的存活周期的阈值为7。

七、server参数设置

1、GC性能指标

   吞吐量： 代码运行时间/(代码运行时间+gc时间)

   暂停: 代码停止运行

2、提高性能方法

   堆内存增加:

       对vm分配尽可能多的内存

       Xms和Xmx设置为一样

       核心数增加，内存也增加

   新生代内存：

       先确定vm的最大堆内存，然后确定新生代大小

       tenured generation要足够容纳所有数据(10%-20%的空余)

3、经验规则

1> 年轻代

相应时间优先： 尽可能大

吞吐量优先： 尽可能大

避免过小设置

2> 老年代

相应时间优先：并发收集器  过小： 内存碎片多，回收频率高；过大： 收集时间长

吞吐量优先：大年轻带，小年老代

3> 碎片问题

年老代碎片回收

-XX:+UseCMSCompactAtFullCollection  并发收集器，开启对老年代的压缩

-XX:CMSFullGCsBeforeCompaction=0： 上面设置情况下，设置经过多少次full gc后，对老年代进行压缩

4> 64位系统，慢于32位系统

5> XMX和XMS设置一样: MaxPermSize,MinPermSize

6> GMS的好处： 保证系统低延迟

7> jmap,jstack或killall -3 java 看控制台日志

8> 缓存采用LRU算法，老年代尽量要大点

9> 并发回收时： 老年代大一些，年轻代小一些

4、Promotion failed

1> 原因

   EDEN区与From servivor区的存活对象存入To servivor区时，To servivor空间不足，再次晋升到老年代，老年代空间也不够，从而才生promotion failed，从而导致full gc

2> 解决

   增大救助空间：

-Xmx4000M -Xms4000M -Xmn600M -XX:PermSize=500M -XX:MaxPermSize=500M -Xss256K -XX:+DisableExplicitGC -XX:SurvivorRatio=1-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:+CMSClassUnloadingEnabled -XX:LargePageSizeInBytes=128M -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+PrintClassHistogram -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintHeapAtGC -Xloggc:log/gc.log

3> CMSInitiatingOccupancyFraction值与Xmn的关系式

   eden + from <= 老年去空闲区，不会出现promotion failed

   (Xmx - Xmn)*(1-CMSInitiatingOccupancyFraction/100) >= (Xmn -Xmn/(SurvivorRatio + 2)) --->

   CMSInitiatingOccupancyFraction <= ((Xmx-Xmn)-(Xmn-Xmn/(SurvivorRatio + 2)))/(Xmx-Xmn)*100

5、一个典型的大内存搜索引擎配置

  java   -Xmn10g     # 新生代内存大小                                        
           -Xms50g      # 初始堆最小内存
           -Xmx50g      # 最大堆内存
           -XX:+UseParNewGC                    #设置年轻代为并行收集
           -XX:+UseConcMarkSweepGC     #设置老年代为CMS内存收集
           -XX:SurvivorRatio=15                   #Eden区与Survivor区的大小比值
           -XX:MaxTenuringThreshold=15    #垃圾最大年龄，尽量使垃圾YGC的时候能够回收
           -XX:+ScavengeBeforeFullGC      #Full GC前调用YGC
           -XX:+PrintGCDetails                    
           -XX:+PrintGCDateStamps 
           -XX:+PrintGCApplicationConcurrentTime  #打印垃圾回收前，程序未中断的执行时间
           -XX:+PrintHeapAtGC                                 #打印GC前后的堆信息
           -XX:-OmitStackTraceInFastThrow             #当大量抛出同样的异常的后，后面的异常输出将不打印堆栈, 防止日志太多
           -Xloggc:/app/logs/verbosegc.log 
           -Djava.net.preferIPv4Stack=true 
          -jar track-search-0.1-SNAPSHOT.jar 
          --logging.path=local_logs 
          --spring.profiles.active=prod