JVM垃圾回收系列之垃圾收集器二

随笔

最近两个星期因为要忙公司项目上线的事情以至于发表的文章会显得碌碌庸流，在此以示歉意

引言

本文将介绍HotSpot中的G1GC

参考书籍：“深入理解Java虚拟机”

个人java知识分享项目——gitee地址

个人java知识分享项目——github地址

G1GC

介绍

G1(Garbage First)是一款面向服务器应用的垃圾收集器，主要针对配备多核CPU及大容量内存的机器，以极高概率满足GC停顿时间的同时，还兼具高吞吐量的性能特性。在JDK1.7版本正式启用，移除了Experimental标识，是JDK 9以后的默认垃圾回收器，取代了CMS回收器以及Parallel+ParallelOld组合。被Oracle官方称为“全功能的垃圾收集器”。与此同时，CMS已经在JDK 9中被标记为废弃（deprecated）。在JDK8中还不是默认的垃圾回收器，需要使用-XX：UseG1GC来启用。HotSpot垃圾收集器里，除了G1以外，其他的垃圾收集器使用内置的JVM线程执行GC的多线程操作，而G1 GC可以采用应用线程承担后台运行的GC工作，即当JVM的GC线程处理速度慢时，系统会调用应用线程帮助加速垃圾回收过程。

疑问：

1.既然我们已经有了前面几个强大的GC，为什么还要发布Garbage First（G1）GC？

答： 原因就在于应用程序所应对的业务越来越庞大、复杂，用户越来越多，没有GC就不能保证应用程序正常进行，而经常造成STW的GC又跟不上实际的需求，所以才会不断地尝试对GC进行优化。G1（Garbage First）垃圾回收器是在Java 7 update 4之后引入的一个新的垃圾回收器，是当今收集器技术发展的最前沿成果之一。与此同时，为了适应现在不断扩大的内存和不断增加的处理器数量，进一步降低暂定时间（Pause Time），同时兼顾良好的吞吐量。官方给G1设定的目标是在延迟可控的情况下获得尽可能高的吞吐量，所以才当起“全功能收集器”的重任与期望。

2.为什么名字叫做Garbage First（G1）呢？

答： 因为G1是一个并行回收器，它把堆内存分割为很多不相关的区域（Region）（物理上不连续的）。使用不同的Region来表示Eden、幸存者0区、幸存者1区，老年代等。G1 GC有计划地避免在整个Java堆中进行全区域的垃圾收集。G1跟踪各个Region里面的垃圾堆积的价值大小（回收所获得的空间大小以及回收所需时间的经验值），在后台维护一个优先列表，每次根据允许的收集时间，优先回收价值长的Region。由于这种方式的侧重点在于回收垃圾最大量的区间（Region），所以我们给G1一个名字：垃圾优先（GarbageFirst）

特点

G1是一款面向服务端应用的垃圾收集器。HotSpot开发团队赋予它的使命是(在比较长期的)未来可以替换掉JDK 1.5中发布的CMS收集器。与其他GC收集器相比，G1具备如下特点：

• 并行与并发
  • 并行性：G1在回收期间，可以有多个GC线程同时工作，有效利用多核计算能力。此时用户线程STW
  • 并发性：G1拥有与应用程序交替执行的能力，部分工作可以和应用程序同时执行，因此，一般来说，不会在整个回收阶段发生完全阻塞应用程序的情况。
• 分代收集
  • 从分代上看，G1依然属于分代型垃圾回收器，它会区分年轻代和老年代，年轻代依然有Eden去和Survivor区。但从堆的结构上看，它不要求整个Eden区、年轻代或者老年代都是连续的，也不再坚持固定大小和固定数量。
  • 将堆空间分为若干个区域（Region），这些区域中包含了逻辑上的年轻代和老年代。
  • 和之前的各类回收器不同，它同时兼顾年轻代和老年代。对比其他回收器，或者工作在年轻代，或者工作在老年代；
• 空间整合
  • CMS：“标记-清除”算法、内存碎片、若干次后进行一次碎片整理
  • G1将内存划分为一个个的region。内存的回收是以region作为基本单位的。Region之间是复制算法，但整体上实际可看作是标记-压缩（Mark-Compact）算法，两种算法都可以避免内存碎片。这种特性有利于程序长时间运行，分配大对象时不会因为无法找到连续内存空间而提前触发下一次GC。尤其是当Java堆非常大的时候，G1的优势更加明显。
• 可预测的停顿时间模型（即：软实时soft real-time）
  • 这是G1相对于CMS的另一大优势，G1除了追求停顿外，还能建立可预测的停顿时间模型，能让使用者明确指定在一个长度为M毫秒的时间片段内，消耗在垃圾收集上的时间不得超过N毫秒。由于分区的原因，G1可以只选取部分区域进行内存回收，这样缩小了回收的范围，因此对于全局停顿情况的发生也能得到较好的控制，G1跟踪各个Region里面的垃圾堆积的价值大小（回收所获取的空间大小以及回收所需时间的经验值），在后台维护一个优先列表，每次根据允许的收集时间，优先回收价值最大的Region。保证了G1收集器在有限的时间内可以获取尽可能高的收集效率。相比于CMS GC，G1未必能做到CMS在最好情况下的延时停顿，但是最差情况要好很多。

在G1之前的其他收集器进行收集的范围都是整个新生代或者老年代，而G1不再是这样。使用G1收集器时，Java堆的内存布局就与其他收集器有很大差别，它将整个Java堆划分为多个大小相等的独立区域(Region)，虽然还保留有新生代和老年代的概念，但新生代和老年代不再是物理隔离的了，它们都是一部分Region(不需要连续)的集合。

G1收集器之所以能建立可预测的停顿时间模型，是因为它可以有计划地避免在整个Java 堆中进行全区域的垃圾收集。G1跟踪各个Region里面的垃圾堆积的价值大小(回收所获得的空间大小以及回收所需时间的经验值)，在后台维护一个优先列表，每次根据允许的收集时间，优先回收价值最大的Region(这也就是Garbage-First名称的来由)。这种使用Region划分内存空间以及有优先级的区域回收方式，保证了G1收集器在有限的时间内可以获取尽可能高的收集效率。

分区Region：化整为零

使用G1收集器时，它将整个Java堆划分成约2048个大小相同的独立Region块，每个Region块大小根据堆空间的实际大小而定，整体被控制在1MB到32MB之间，且为2的N次幂，即1MB，2MB，4MB,8MB。可以通过-XX：G1HeapRegionSize设定。所有的Region大小相同，且在JVM生命周期内不会改变。

虽然还保留有新生代和老年代的概念，但新生代和老年代不再是物理隔离的了，他们都是一部分Region（不需要连续）的集合。通过Region的动态分配方式实现逻辑上的连续。一个region有可能属于Eden，Survivor或者Old/Tenured内存区域。但是一个region只可能属于一个角色。E表示该region属于Eden内存区域，s表示属于Survivor内存区域，o表示Old内存区域。一个region有可能属于Eden，Survivor或者Old/Tenured内存区域。但是一个region只可能属于一个角色。E表示该region属于Eden内存区域，s表示属于Survivor内存区域，o表示Old内存区域。G1垃圾收集器还增加了一种新的内存区域，叫做Humongous内存区域。主要用来存储大对象，如果超过1.5个region，就放到H。

设置H的原因：

对于堆中的大对象，默认直接会被分配到老年代，但是如果它是一个短期存在的大对象，就会对垃圾收集器造成负面影响。为了解决这个问题，G1划分了一个Humongous区，它用于专门存放大对象。如果一个H区装不下一个大对象，那么G1会寻找连续的H区作为老年代的一部分来看待。为了能找到连续的H区，有时候不得不启动Full GC。G1的大多数行为都把H区作为老年代的一部分来看待。

G1把内存“化整为零”的思路，理解起来似乎很容易，但其中的实现细节却远远没有想象中那样简单，否则也不会从2004年Sun实验室发表第一篇G1的论文开始直到今天(将近10年 时间)才开发出G1的商用版。笔者以一个细节为例:把Java堆分为多个Region后，垃圾收集是否就真的能以Region为单位进行了?听起来顺理成章，再仔细想想就很容易发现问题所 在:Region不可能是孤立的。一个对象分配在某个Region中，它并非只能被本Region中的其 他对象引用，而是可以与整个Java堆任意的对象发生引用关系。那在做可达性判定确定对象是否存活的时候，岂不是还得扫描整个Java堆才能保证准确性?这个问题其实并非在G1中才有，只是在G1中更加突出而已。在以前的分代收集中，新生代的规模一般都比老年代要小许多，新生代的收集也比老年代要频繁许多，那回收新生代中的对象时也面临相同的问题，如果回收新生代时也不得不同时扫描老年代的话，那么Minor GC的效率可能下降不少。

在G1收集器中，Region之间的对象引用以及其他收集器中的新生代与老年代之间的对象引用，虚拟机都是使用Remembered Set来避免全堆扫描的。G1中每个Region都有一个与之对应的Remembered Set，虚拟机发现程序在对Reference类型的数据进行写操作时，会产生一个 Write Barrier暂时中断写操作，检查Reference引用的对象是否处于不同的Region之中(在分代 的例子中就是检查是否老年代中的对象引用了新生代中的对象)，如果是，便通过 CardTable把相关引用信息记录到被引用对象所属的Region的Remembered Set之中。当进行内存回收时，在GC根节点的枚举范围中加入Remembered Set即可保证不对全堆扫描也不会有遗漏。

垃圾回收过程

G1 GC的垃圾回收过程主要包括如下三个环节（忽略Remembered Set过程）：

1. 年轻代GC（Young GC）
2. 老年代并发标记过程（Cocurrent Marking）
3. 混合回收（Mixed GC）（如果需要，单线程、独占式、高强度的Full GC还是继续存在的。它针对GC的评估失败提供了一种失败保护机制，即强力回收。）

应用程序分配内存，当年轻代的Eden区用尽时开始年轻代回收过程：G1的年轻代收集阶段是一个并行的独占式收集器。在年轻代回收器，G1 GC暂停所有应用程序线程，启动多线程执行年轻代回收。然后从年轻代区间移动存活对象到Survivor区间或者老年区间，也可能是两个区间都会涉及。当堆内存使用达到一定值（默认45%）时，开始老年代并发标记过程。标记完成马上开始混合回收过程。对于一个混合回收器，G1 GC从老年区间移动到存活对象到空闲区间，这些空闲区间也就成为了老年代的一部分。和年轻代不同，老年代的G1回收器和其他GC不同，G1的老年代回收器不需要整个老年代被回收，一次只需要扫描/回收一小部分老年代的Region就可以了。同时，这个老年代Region是和年轻代一起被回收的。举个例子：一个Web服务器，Java进程最大堆内存为4G，每分钟响应1500个请求，没45秒钟会新分配大约2G的内存。G1会每45秒钟进行一次年轻代回收，每32个小时整个堆的使用率会达到45%，会开始老年代并发标记过程，标记完成后开始四到五次的混合回收。

G1回收过程一：年轻代GC

• 第一阶段，扫描根
  • 根是指static变量指向的对象，正在执行的方法调用链条上的局部变量等。根引用连同RSet记录的外部引用作为扫描存活对象的入口。
• 第二阶段，更新RSet
  • 处理dirty card queue（见备注）中的card，更新RSet。次阶段完成后，RSet可以准确的反映老年代对所在的内存分段中对象的引用
  • 对于应用程序的引用赋值语句Object.field = object ,JVM会在之前和之后执行特殊的操作以在dirty card queue中入队一个保存了对象引用信息的card。在年轻代回收的时候，G1会对Dirty Card Queue中所有的Card进行处理，以更新RSet，保证RSet实时准确的反应引用关系
  • 那为什么不在引用赋值语句处直接跟新RSet呢？这是为了性能的需要，RSet的处理需要线程同步，开销会很大，使用队列性能会好很多。
• 第三阶段，处理RSet
  • 识别被老年代对象指向的Eden中的对象，这些被指向的Eden中的对象被认为是存活的对象
• 第四阶段，复制阶段
  • 此阶段，对象树被遍历，Eden区内存段中存活的对象会被复制到Surviror区中空的内存分段Survivor区内存段中存活的对象如果年龄未达阈值，年龄会加1，达到阈值会被复制到Old区中空的内存分段。如果Survivor空间不够，Eden空间的部分数据会直接晋升到老年代空间。
• 第五阶段，处理引用
  • 处理Soft，Weak，Phantom，Final，JNI Weak等引用。最终Eden空间的数据为空，GC停止工作，而目标内存中的对象都是连续存储的，没有碎片，所以复制过程可以达到内存整理的效果，减少碎片。

G1回收过程二：并发标记过程

• 初始标记阶段：标记从根节点直接可达的对象。这个阶段是STW的，并且会触发一次年轻代GC。
• 根区域扫描（Root Region Scanning）：G1 GC扫描Survivor区直接可达的老年代区域对象，并标记被引用的对象。这一过程必须在Young GC之前完成。
• 并发标记（Concurrent Marking）：在整个堆中进行并发标记（和应用程序并发执行），此过程可能被Young GC中断。在并发标记阶段，若发现区域对象中的所有对象都是垃圾，那这个区域会被立即回收。同时，并发标记过程中，会计算每个区域的对象活性（区域中存活对象的比例）。
• 再次标记（Remarking）：由于应用程序持续进行，需要修正上一次的标记结果。是STW的。G1中采用了比CMS更快的初始快照算法：snapshot-at-the-beginning（SATB）。
• 独占清理（cleanup，STW）：计算各个区域的存活对象和GC回收比例，并进行排序，识别可以混合回收的区域。为下阶段做铺垫。是STW的。
  • 这个阶段并不会实际上去做垃圾的收集。
• 并发清理阶段：识别并清理完全空闲的区域。

G1回收过程三：混合回收

并发标记结束以后，老年代中百分百为垃圾的内存分段被回收了，部分为垃圾的内存分段被计算了出来，默认情况下，这些老年代的内存分段会分8次（可以通过-XX：G1MixedGCCountTarget设置）被回收。混合回收的回收集（Collection Set）包括八分之一的老年代内存分段，Eden区内存分段，Survivor区内存分段。混合回收的算法和年轻代回收的算法完全一样，只是回收集多了老年代的内存分段。具体过程请参考上面的年轻代回收过程。由于老年代中的内存分段默认分8次回收，G1会优先回收垃圾多的内存分段。垃圾占内存分段比例越高的，越会被先回收。并且有一个阈值会决定内存分段是否被回收，-XX：G1MixedGCLiveThresholdPercent默认为65%，意思是垃圾内存分段比例要达到65%才会被回收。如果垃圾占比太低，意味着存活的对象占比高，在赋值的时候会花费更多的时间。混合回收并不一定要进行8次。有一个阈值-XX：G1HeapWastePercent，默认值为10%，意思是允许整个堆内存中有10%，则不再进行混合回收。因为GC会花费很多的时间但是回收到的内存却很少。

G1回收过程四：Full GC（可选过程）

G1的初衷就是要避免Full GC的出现。但是如果上述方式不能正常工作，G1会停止应用程序的执行（Stop-The-World），使用单线程的内存回收算法进行垃圾回收，性能会非常差，应用程序停顿时间会很长。要避免Full GC的发生，一旦发生需要进行调整。什么时候会发生Full GC呢？比如堆内存太小，当G1在复制存活对象的的时候没有空的内存分段可用，则会回退到Full GC，这种情况可以通过增大内存解决。

导致G1Full GC的原因可能有两个：

• Evacuation的时候没有足够的to-space来存放晋升的对象；
• 并发处理过程完成之前空间耗尽。

再贴上“深入理解java虚拟机”中对于G1收集器的运行图：

从上述对G1的介绍内容来看，G1毋庸置疑是非常强大的，但是它也并不是万能的垃圾收集器，相比较于CMS，G1还不具备全方位、压倒性优势。比如在用户程序运行过程中，G1无论是为了垃圾收集产生的内存占用（Footprint）还是程序运行时的额外负载（Overload）都要比CMS要高。从经验上来说，在小内存应用上CMS的表现大概率会优于G1，而G1在大内存应用上则发挥其优势。平衡点在6-8GB之间。

G1回收器的参数设置：

• -XX：+UseG1GC 手动指定使用G1收集器执行内存回收任务。
• -XX：G1HeapRegionSize 设置每个Region的大小。值是2的幂，范围是1MB到32MB之间，目标是根据最小的Java堆大小划分出约2048个区域。默认是堆内存的1/2000。
• -XX：MaxGCPauseMillis 设置期望达到的最大GC停顿时间指标（JVM会尽力实现，但不保证达到）。默认值是200ms
• -XX：ParallelGCThread 设置STW工作线程数。将n设置为并行垃圾回收线程数（ParralelGCThread）的1/4左右。
• -XX：InitiationHeapOccupancyPercent 设置触发并发GC周期的Java堆占用率阈值。超过此值，就触发GC。默认值是45

G1回收器的适用场景：

• 面向服务端应用，针对具有大内存、多处理器的机器。（在普通大小的堆里表现并不惊喜）
• 最主要的应用是需要低GC延迟，并具有大堆的应用程序提供解决方案。如：在堆大小约6GB或更大时，可预测的暂停时间可以低于0.5秒；（G1通过每次只清理一部分而不是全部的Region的增量式清理来保证每次GC停顿时间不会过长）。
• 用来替换掉JDK1.5中的CMS收集器，在下面的情况下，使用G1可能比CMS好：
  • 超过50%的Java堆被活动数据占用；
  • 对象分配频率或年代提升频率变化很大；
  • GC停顿时间过长（长于0.5至1秒）