深入理解Java虚拟机_2(垃圾收集器与内存分配策略)

Cerated by westfallon on 8/21

哪些内存需要回收

• 程序计数器、虚拟机栈、本地方法栈三个区域随线程而生，随线程而灭。在这几个区域不需要过多考虑回收的问题，因为方法或者线程结束时，内存自然就随着回收了
• Java堆和方法区则不一样，一个接口中的多个实现类需要的内存可能不一样，一个方法中的多个分支需要的内存也可能不一样，我们只有在程序处于运行期间的时候才会知道创建哪些对象，这部分内存的分配和回收都是动态的，垃圾收集器关注的正是这部分内存

对象已死吗

• 垃圾收集器在对堆进行回收前，第一件事情就是要确定这些对象之中哪些还“存活”着，哪些已经死去(即不可能再被任何途径使用的对象)

引用计数算法

• 引用计数算法(Reference Counting)思路：给对象中添加一个引用计数器，每当有一个地方引用它时，计数器就加一；当引用失效时，计数器值就减一；任何时刻计数器为0的对象就是不可能再被使用的
• 主流的Java虚拟机里面没有选用引用计数算法来管理内存，最主要的原因是它很难解决对象之间相互循环引用的问题

可达性算法分析

• 在主流的商用程序语言的主流实现中，都是通过可达性分析(Reachability Analysis)来判定对象是否存活的
• 算法思路：通过一系列的称为“GC Roots”的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链(Reference Chain)，当一个对象到GC Roots没有任何引用链相连时，则证明这个对象是不可用的
• 在Java语言中，可作为GC Roots的对象包括下面几种：
  • 虚拟机栈(栈帧中的本地变量)中引用的对象
  • 方法区中类静态属性引用的对象
  • 方法区中常量引用的对象
  • 本地方法栈中JNI(即一般说的Native方法)引用的对象

引用

• 在JDK1.2之后，Java对引用的概念进行了扩充，将引用分为强引用(Strong Reference)、软引用(Soft Reference)、弱引用(Weak Reference)、虚引用(Phantom Reference)四种，这四种引用强度依次减弱:
  • 强引用就是指在程序代码之中普遍存在的，类似Object obj = new Object()这类的引用，只要强引用还在，垃圾收集器就永远不会回收掉被引用的对象
  • 软引用是用来描述一些还有用但并非必须的对象，在系统将要发生内存溢出异常之前，将会把这些对象列进回收范围之中进行第二次回收。如果这次回收还没有足够的内存，才会抛出异常
  • 弱引用也是用来描述非必须对象的，但是它的强度比软引用更弱一些，被弱引用关联的对象只能生存到下一次垃圾收集发生之前。当垃圾收集器工作时，无论当前内存是否足够，都会回收掉只被弱引用关联的对象
  • 虚引用也被称为幽灵引用或者幻影引用，它是最弱的一种引用关系。一个对象是否有虚引用的存在，完全不会对其生存时间构成影响，也无法通过虚引用来取得一个对象实例。为一个对象设置一个虚引用关联的唯一目的就是能在这个对象被收集器回收时收到一个系统通知

对象是否应该被清除

• 即使在可达性分析算法中不可达的对象，也不是“非死不可”，这时候它们暂时处在“缓刑”阶段，要真正宣告一个对象死亡，至少要经历两次标记过程：
  • 如果对象在进行可达性分析后发现没有与GC Roots相连接的引用链，那它将会被第一次标记并且进行一次筛选，筛选的条件是此对象是否有必要执行finalize()方法。
    • 当对象没有覆盖finalize()方法，或者finalize()方法已经被虚拟机用过，虚拟机将这两种情况都视为“没有必要执行”
    • 如果这个对象被判定为有必要执行finalize()方法，那么这个对象将会放置在一个叫做F-Queue的队列之中，并在稍后由一个由虚拟机自动建立的、低优先级的Finalizer线程去执行它
  • finalize()方法是对象逃脱死亡命运的最后一次机会，稍后GC将对F-Queue中的对象进行第二次小规模标记，如果对象要在finalize()中成功拯救自己(只需要重新与引用链上的任何一个对象建立关联即可),那在第二次标记时它将被移除出“即将回收”的集合，如果对象这时候还没有逃脱，那基本上就真的被回收了
• 任何一个对象的finalize()方法只能执行一次，如果对象面临下一次回收，它的finalize()方法不会被再次执行
• finalize()能做的工作，使用try-finally或者其它方式都可以做的更好，不建议使用finalize()方法

回收方法区

• 永久代的垃圾收集主要回收两部分内容：废弃常量和无用的类
• 回收废弃常量与回收Java堆中的对象非常类似
• 类需要同时满足以下三个条件才能算是“无用的类”
  • 该类的所有实例都已经被回收，也就是Java堆中不存在该类的任何实例
  • 加载该类的ClassLoader已经被回收
  • 该类对应的java.lang.Class对象没有在任何地方被引用，无法在任何地方通过反射访问该类的方法
• 在大量使用反射、动态代理、CGLib等ByteCode框架、动态生成JSP以及OSGi这类频繁自定义ClassLoader的场景都需要虚拟机具备类卸载的功能，以保证永久代不会溢出

垃圾收集算法

标记-清除算法

• 最基础的收集算法是“标记-清除”(Mark-Sweep)算法，算法分为“标记”和“清除”两个阶段：首先标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象
• 主要不足有两个：
  • 一个是效率问题，标记和清除两个过程的效率都不高
  • 另一个是空间问题，标记清除之后会产生大量不连续的内存碎片，空间碎片太多可能会导致以后在程序运行过程中需要分配大对象时，无法找到足够的连续内存而不得不提前触发另一次垃圾收集动作

复制算法

• 为了解决效率问题，一种称为“复制”(Copying)的收集算法出现了，它将可用内存按容量划分成大小相等的两块，每次只使用其中的一块。当这一块内存用完了，它就将还存活的对象复制到另一块上面，然后再把已使用过的内存空间一次清理掉。这样使得每次都是对整个半区进行内存回收，内存分配时也就不用考虑内存碎片等复杂情况，只要移动堆顶指针，按顺序分配内存即可，实现简单，运行高效
• 现在商业虚拟机都使用这种收集算法来回收新生代
• 研究表明，新生代中的对象98%很快会被清除，因此不需要按照1 : 1来划分，而将内存分为一块较大的Eden空间和两块较小的Survivor空间，每次使用Eden和一块Survivor，回收时，将Eden和Survivor中还存活的对象一次性复制到另外一块Survivor空间上，最后清理掉Eden和刚才用过的Survivor空间
• HotSpot虚拟机默认Eden和Survivor的大小比例是8 : 1
• 当Survivor空间不够时，需要依赖其他内存(这里指老年代)进行分配担保(Handle Promotion)

标记-整理算法

• 复制收集算法在对象存活率较高时就要进行较多的复制操作，效率将会变低
• 如果不想浪费50%的空间，就需要有额外的空间进行分配担保，以应对被使用的内存中所有对象都100%存活的极端情况，所以老年代一般不直接选用这种方法
• “标记-整理”(Mark-Compact)算法的标记过程与“标记-清除”算法一样，但后续步骤不是直接对可回收对象进行清理，而是让所有存活的对象都向一端移动，然后直接清理掉端边界以外的内存

分代收集算法

• 当前商业虚拟机的垃圾收集都采用“分代收集”(Generational Collection)算法，这种算法根据对象存活周期的不同将内存划分成几块，一般是将Java堆分为新生代和老年代，这样可以根据各个年代的特点采用最适当的收集算法
• 在新生代中，每次垃圾收集都有大批对象死去，只有少量存活，就选用复制算法
• 老年代中因为对象存活率高、没有额外空间对它进行分配担保，就必须使用“标记-清除‘或者”标记-整理“算法来进行回收

HotSpot算法实现

枚举根节点

• 在HotSpot的实现中，使用一组称为OopMap的数据结构直接得知哪些地方存放着对象引用
• 在类加载完成的时候，HotSpot就会把对象内什么偏移量上是什么类型的数据计算出来，在JIT编译过程中，也会在特定的位置记录下栈和寄存器中哪些位置是引用。这样GC在扫描时就可以直接得知这些信息了

安全点

• 在OopMap的帮助下，HotSpot可以快速且准确的完成GC Roots枚举，但可能会导致引用关系变化，或者说OopMap内容变化的指令非常多，如果为每一条指令都生成对应的OopMap，那会需要大量额外的内存空间，这样GC的空间成本将会非常高
• HotSpot只是在“特定的位置”记录了这些信息，这些位置称为“安全点”(Safepoint)，即程序执行时并非在所有地方都能停顿下来开始GC，只有在到达安全点时才能暂停
• Safepoint的选定既不能太少以至于让GC等待时间太长，也不能过于频繁以至于过分增大运行时的负荷
• 安全点的选定基本上是以程序“是否具有让程序长时间执行的特征”为标准进行选定的，“长时间执行”的最明显特征就是指令序列复用，例如方法调用、循环跳转、异常跳转等，所以具有这些功能的指令才会产生Safepoint
• 另一个需要考虑的问题是如何在GC发生时让所有线程都跑到最近的安全点在停顿下来，这里有两种方案：
  • 抢先式中断(Preemptive Suspension)不需要线程的执行代码主动去配合，在GC发生时，首先把所有线程全部中断，如果发现有线程中断的地方不在安全点上，就恢复线程，让它跑到安全点上
  • 主动式中断(Voluntary Suspension)的思想是GC需要中断时，不直接对线程操作，仅仅简单地设置一个标志，各个线程执行时主动去轮询这个标志，发现中断标志为真时就自己中断挂起，轮询标志的地方和安全点是重合的，另外再加上创建对象需要分配内存的地方

安全区域

• Safepoint机制保证了程序执行时，在不太长的时间内就会遇到可进入GC的Safepoint，但在程序不执行(指没有分配CPU时间，典型的例子就是线程处于Sleep状态或者Blocked状态)，这时候线程无法响应JVM的中断请求，“走”到安全的地方去中断挂起，JVM也不太可能等待线程重新分配CPU时间。对于这种情况，就需要安全区域(Safe Region)来解决
• 安全区域是指在一段代码片段之中，引用关系不会发生变化。在这个区域中的任何地方开始GC都是安全的，我们可以把Safe Region看作是被扩展了的SafePoint
• 在线程执行到Safe Region中的代码时，首先标示自己已经进入到了Safe Region，这样在JVM要发起GC时，就不管表示自己为Safe Region状态的线程了。当线程要离开Safe Region时，它要检查系统是否已经完成了根节点枚举(或者整个GC过程)，如果完成了，那线程就继续执行，否则它就必须等待直到收到可以安全离开Safe Region的信号为止

垃圾收集器

• 直到现在还没有最好的收集器出现，更没有万能的收集器，我们选择的只是对具体应用最合适的收集器

Serial收集器

• Serial收集器是最基本、发展历史最悠久的收集器，这个收集器是一个单线程的收集器，但它的“单线程”的意义不止说明它只会使用一个CPU或一条收集线程去完成垃圾收集工作，更重要的是在它进行垃圾收集时，必须暂停其他所有的工作线程，直到它收集结束(Stop The World)
• 到现在为止，它依然是虚拟机运行在Client模式下默认的新生代收集器，它也有优于其他收集器的地方：简单而高效(与其他收集器的单线程相比),对于限定单个CPU的环境来说，Serial收集器由于没有线程交互的开销，专心做垃圾收集自然可以获得最高的单线程收集效率
• 在用户的桌面应用场景中，分配给虚拟机管理的内存一般来说不会很大，收集几十兆甚至一两百兆的新生代，停顿时间完全可以控制在几十毫秒做多一百毫秒以内，只要不是频繁发生，这点停顿是可以接受的。所以Serial收集器对于运行在Client模式下的虚拟机来说是一个很好的选择

ParNew收集器

• ParNew收集器其实就是Serial收集器的多线程版本，除了使用多线程进行垃圾收集之外，其余行为包括Serial收集器可用的所有控制参数、收集算法、Stop The World、对象分配规则、回收策略等都与Serial收集器完全一样
• 它是许多运行在Server模式下的虚拟机中首选的新生代控制器，其中有一个与性能无关但很重要的原因是，除了Serial收集器外，目前只有它能与CMS收集器配合工作
• ParNew收集器在单CPU的环境中绝对不会有比Serial收集器更好的效果，但随着CPU的数量增加，对于GC时系统资源的有效利用很有好处
• 并发和并行：
  • 并行(Paraller)：指多条垃圾收集线程并行工作，但此时用户线程仍然处于等待状态
  • 并发(Concurrent)：指用户线程与垃圾收集线程同时执行(但不一定是并行的，可能会交替执行)，用户程序在继续工作，而垃圾收集程序运行于另一个CPU上

Paraller Scavenga收集器

• Paraller Scavenga收集器的特点是它的关注点与其他收集器不同，CMS等收集器的关注点是尽可能地缩短垃圾收集时用户线程的停顿时间，而Paraller Scavenga收集器的目标则是达到一个可控制的吞吐量(Throughput)
• 所谓吞吐量就是CPU用于运行用户代码的时间与CPU总消耗时间的比值，即吞吐量 = 用户运行时间 / (运行用户代码时间 + 垃圾收集时间)
• 由于与吞吐量关系密切，Paraller Scavenga收集器也经常被称为“吞吐量优先”收集器

Serial Old收集器

• Serial Old收集器是Serial收集器的老年代版本，它同样是一个单线程收集器，使用“标记-整理”算法，这个收集器的主要意义也是在于给Client模式下的虚拟机使用
• 如果在Server模式下，它还有两大用途：
  • 一种是在JDK 1.5 以及之前的版本中与Parallel Scavenge收集器搭配使用
  • 另一种是作为CMS收集器的后备预案，在并发收集发生Concurrent Mode Failure时使用

Paraller Old收集器

• Paraller Old收集器是Paraller Scavenga收集器的老年代版本，使用多线程和“标记-整理”算法
• 注重吞吐量以及CPU资源敏感的场合，都可以优先考虑Paraller Scavenga 加 Paraller Old收集器

CMS收集器

• CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器
• 运作过程分四个步骤：
  • 初始标记(CMS initial mark)：初始标记仅仅只标记GC Roots能直接关联到的对象，速度很快
  • 并发标记(CMS concurrent mark)：并发标记阶段就是进行GC Roots Trancing的过程
  • 重新标记(CMS remark)：重新标记阶段则是为了修正并发标记期间因用户程序继续运作而导致标记产生变动的那一部分对象的标记记录，这个阶段的停顿时间一般会比初始标记阶段稍长一点，但远比并发标记的时间短
  • 并发清除(CMS concurrent sweep)
• 其中，初始标记、重新标记这两个步骤仍然需要“Stop The World”。
• 由于整个过程中耗时最长的并发标记和并发清除过程收集器线程都可以与用户线程一起工作，所以，从总体上来看，CMS收集器的内存回收过程是与用户线程一起并发执行的
• 主要优点：并发收集、低停顿
• 缺点：
  • CMS收集器对CPU资源非常敏感，在并发阶段，它虽然不会导致用户线程停顿，但是会因为占用了一部分线程(或者说CPU资源)而导致应用程序变慢，总吞吐量会降低
  • CMS无法处理浮动垃圾(Floating Garbage)，可能出现“Concurrent Mode Failure”失败而导致另一次Full GC的产生
  • CMS是一款基于“标记-清除”算法实现的收集器，这意味着收集结束时会有大量空间碎片产生。空间碎片过多时，会给大对象分配带来很大麻烦，往往会出现老年代还有很大空间剩余，但是无法找到足够大的连续空间来分配当前对象，不得不触发一次Full GC

G1 收集器

• G1(Garbage-First)收集器是当今收集器技术发展的最前沿成果之一
• G1是一款面向服务端应用的垃圾收集器，具备以下特点
  • 并行与并发：G1能充分利用多CPU、多核环境下的硬件优势，使用多个CPU(CPU或者CPU核心)来缩短Stop-The-World停顿的时间，部分其他收集器原本需要停顿Java线程执行的GC动作，G1收集器仍然可以通过并发的方式让Java程序继续执行
  • 分代收集：虽然G1收集器可以不需要其他收集器配合就能独立管理整个GC堆，但它能够采用不同的方式去处理新创建的对象和已经存活了一段时间、熬过多次GC的久对象以获取更好的收集效果
  • 空间整合：G1从整体上来看是基于“标记-整理”算法实现的收集器，从局部(两个Region中间)上来看是基于“复制”算法实现的，但无论如何，这两种算法都意味着G1运作期间不会产生内存碎片。这种特性有利于程序长时间运行，分配大对象时不会因为无法找到内存空间而提前出发下一次GC
  • 可预测的停顿：降低停顿时间是G1和CMS共同的关注点，但G1除了追求低停顿外，还能建立可预测的停顿时间模型，能让使用者明确指定在一个长度为M毫秒的时间片段内，消耗在垃圾收集上的时间不得超过M毫秒
• 使用G1收集器时，Java堆的内存布局就与其他收集器有很大区别，它将整个Java堆划分为多个大小相等的独立区域(Region)，虽然还保留有新生代和老年代的概念，但新生代和老年代不再是物理隔离的了，他们都是一部分Region(不需要连续)的集合
• G1收集器之所以能够建立起可预测的停顿时间模型，是因为它可以有计划地避免在整个Java堆中进行全区域的垃圾收集
• G1跟踪每个Region里面的垃圾堆积的价值大小(回收所获得的空间大小以及回收所需时间的经验值)，在后台维护一个优先列表，每次根据允许的收集时间，优先回收价值最大的Region
• 这种使用Region划分内存空间以及有优先级的区域回收方式，保证了G1收集器在有限的时间内可以获取尽可能高的收集效率
• 在G1收集器中，Region之间的对象引用以及其他收集器中新生代与老年代之间的对象引用，虚拟机都是使用Remember Set来避免全堆扫描的
• G1收集器的运作大致分为四个步骤
  • 初始标记(Initial Marking)
  • 并发标记(Concurrent Marking)
  • 最终标记(Final Marking)
  • 筛选回收(Live Data Counting and Evacuation)

理解GC日志

• 最前面的数字代表了GC发生的时间，这个数字的含义是用Java虚拟机启动以来经过的秒数
• GC日志开头的"[GC"和"[Full GC"说明了这次垃圾收集的停顿类型，Full GC说明这次GC发生了Stop-The-World。如果是调用System.gc()方法所触发的收集，那么这里将显示"[Full GC (System)"
• 接下来的"[DefNew"、"[Tenured"、"[Perm"表示GC发生的区域，这里显示的区域名与使用的GC收集器是密切相关的
• 后面方括号内部的“xxk->xxk(xxk)”含义是“GC前该内存区域已使用容量->GC后该内存区域已使用容量(该内存区域总容量)”
• 在方括号之外的“xxk->xxk(xxk)”表示“GC前Java堆已使用容量->GC后Java堆已使用容量(Java堆总容量)”
• 最后“xxx secs”表示该内存区域GC所占用的时间，单位是秒

内存分配与回收策略

• Java体系中所提倡的自动内存管理最终可以归结为自动化地解决了两个问题：
  • 给对象分配内存
  • 回收分配给对象的内存

对象优先在Eden分配

• 大多数情况下，对象在新生代Eden区中分配。当Eden区没有足够的空间进行分配时，虚拟机将发起一次Minor GC
• Minor GC 与 Full GC区别
  • 新生代GC(Minor GC)：指发生在新生代的垃圾收集动作，因为Java对象大多都具备朝生夕灭的特征，所以Minor GC非常频繁，一般回收速度也比较快
  • 老年代GC(Major GC / Full GC)：指发生在老年代的GC，出现了Major GC，经常会伴随着至少一次的Minor GC(非绝对)，Major GC的速度一般会比Minor GC慢10倍以上

大对象直接进入老年代

• 所谓的大对象是指，需要大量连续内存空间的Java对象，最典型的大对象就是那种很长的字符串以及数组
• 虚拟机提供了一个 -XX:PretenureSizeThreshold参数，令大于这个设置值的对象直接在老年代分配，这样做的目的是避免在Eden区以及两个Survivor区之间发生大量的内存复制
• PretenureSizeThreshold参数支队Serial和Parnew两款收集器有效，Parallel Scavenge收集器不认识这个参数，Parallel Scavenge收集器一般不需要设置，如果遇到必须使用此参数的场合，可以考虑ParNew加CMS的收集器组合

长期存活的对象将进入老年代

• 虚拟机给每个对象定义了一个对象年龄(Age)计数器。如果对象在Eden出生并经过第一次Minor GC后依然存活，并能被Survivor容纳的话，将被移动到Survivor中，并且对象年龄设为1.对象每经过一次Minor GC，年龄就增加1岁，当它的年龄达到一定程度(默认为15)时，将会被晋升到老年代
• 对象晋升老年代的阈值可以通过参数-XX:MaxTenuringThreshold设置

空间分配担保

• 在发生Minor GC之前，虚拟机会先检查老年代最大可用的连续空间是否大于新生代所有对象总空间
  • 如果这个条件成立，那么Minor GC可以确保是安全的
  • 如果不成立，则会查看HandlePromotionFailure设置值是否允许担保失败
    • 如果允许，那么会继续检查老年代最大可用的连续空间是否大于历次晋升到老年代对象的平均大小
      • 如果大于，将尝试着进行一次Minor GC，尽管这次Minor GC是有风险的
      • 如果小于，或者HandlePromotionFailure设置不允许冒险，那这时也要改为进行一次Full GC