2019-10-09 即时编译（JIT）

1 编译简介

字节码转机器码

根据完成任务不同，可以将编译器的组成部分划分为前端（Front End）与后端（Back End）。

1 前端编译 
    主要指与源语言有关但与目标机无关的部分，包括词法分析、语法分析、语义分析与中间代码生成。即： 把Java源码文件（.java）编译成Class文件(.class)的过程；

2 后端编译
    主要指与目标机有关的部分，包括代码优化和目标代码生成等。即：通过Java虚拟机（JVM）内置的即时编译器（Just In Time Compiler，JIT编译器）；在运行时把Class文件字节码编译成本地机器码的过程；

1.1 Java中的前端编译

我们所熟知的javac的编译就是前端编译。除了这种以外，我们使用的很多IDE，如eclipse，idea等，都内置了前端编译器。主要功能就是把.java代码转换成.class代码。

前端编译.png

词法分析

词法分析阶段是编译过程的第一个阶段。这个阶段的任务是从左到右一个字符一个字符地读入源程序，将字符序列转换为标记（token）序列的过程。这里的标记是一个字符串，是构成源代码的最小单位。在这个过程中，词法分析器还会对标记进行分类。

词法分析器通常不会关心标记之间的关系（属于语法分析的范畴），举例来说：词法分析器能够将括号识别为标记，但并不保证括号是否匹配。

语法分析

语法分析的任务是在词法分析的基础上将单词序列组合成各类语法短语，如“程序”，“语句”，“表达式”等等.语法分析程序判断源程序在结构上是否正确.源程序的结构由上下文无关文法描述。

语义分析

语义分析是编译过程的一个逻辑阶段， 语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查，进行类型审查。语义分析是审查源程序有无语义错误，为代码生成阶段收集类型信息。

语义分析的一个重要部分就是类型检查。比如很多语言要求数组下标必须为整数，如果使用浮点数作为下标，编译器就必须报错。再比如，很多语言允许某些类型转换，称为自动类型转换。

中间代码生成

在源程序的语法分析和语义分析完成之后，很多编译器生成一个明确的低级的或类机器语言的中间表示。该中间表示有两个重要的性质： 1.易于生成； 2.能够轻松地翻译为目标机器上的语言。

在Java中，javac执行的结果就是得到一个字节码，而这个字节码其实就是一种中间代码。

PS：解语法糖操作，也是在javac中完成的。link：com.sun.tools.javac.main.JavaCompiler#desugar()

1.2 Java中的后端编译

通常通过 javac 将程序源代码编译，转换成 java 字节码，JVM 通过解释字节码将其翻译成对应的机器指令，逐条读入，逐条解释翻译。很显然，经过解释执行，其执行速度必然会比可执行的二进制字节码程序慢很多。这就是传统的JVM的解释器（Interpreter）的功能。为了解决这种效率问题，引入了 JIT 技术。

JAVA程序通过解释器进行解释执行，当JVM发现某个方法或代码块运行特别频繁的时候，就会认为这是“热点代码”（Hot Spot Code)。然后JIT会把部分“热点代码”翻译成本地机器相关的机器码，并进行优化，然后再把翻译后的机器码缓存起来，以备下次使用。

HotSpot虚拟机中内置了两个JIT编译器：Client Complier和Server Complier，分别用在客户端和服务端，目前主流的HotSpot虚拟机中默认是采用解释器与其中一个编译器直接配合的方式工作。

当 JVM 执行代码时，它并不立即开始编译代码。首先，如果这段代码本身在将来只会被执行一次，那么从本质上看，编译就是在浪费精力。因为将代码翻译成 java 字节码相对于编译这段代码并执行代码来说，要快很多。第二个原因是最优化，当 JVM 执行某一方法或遍历循环的次数越多，就会更加了解代码结构，那么 JVM 在编译代码的时候就做出相应的优化。

image.png

通过上图可以看到，他是Server Compile，但是，需要说明的是，无论是Client Complier还是Server Complier，解释器与编译器的搭配使用方式都是混合模式，即上图中的mixed mode。

2 JIT简介

JIT是just in time的缩写，也就是即时编译。通过JIT技术，能够做到Java程序执行速度的加速。

Java是一门解释型语言（或者说是半编译，半解释型语言）。Java通过编译器javac先将源程序编译成与平台无关的Java字节码文件（.class），再由JVM解释执行字节码文件，从而做到平台无关。 但是，有利必有弊。对字节码的解释执行过程实质为：JVM先将字节码翻译为对应的机器指令，然后执行机器指令。很显然，这样经过解释执行，其执行速度必然不如直接执行二进制字节码文件。

而为了提高执行速度，便引入了 JIT 技术。当JVM发现某个方法或代码块运行特别频繁的时候，就会认为这是“热点代码”（Hot Spot Code)。然后JIT会把部分“热点代码”编译成本地机器相关的机器码，并进行优化，然后再把编译后的机器码缓存起来，以备下次使用，因此从理论上来说，采用该 JIT 技术可以接近以前纯编译技术。

3 Hot Spot 分层编译

HotSpot内置了两个JIT编译器，即C1编译器和C2编译器。默认情况下，JVM采取解释器和其中一个编译器直接配合的运行模式，编译器的选择，根据自身的版本以及宿主机器的硬件性能自动选择。此外，用户也可以通过JVM参数强制JVM的运行模式。如下表：

image.png

Java 7 引入了分层编译（对应参数 -XX:+TieredCompilation）的概念，综合了 C1 的启动性能优势和 C2 的峰值性能优势。
分层编译将 Java 虚拟机的执行状态分为了五个层次。为了方便阐述，我用“C1 code”来指代由 C1 生成的机器码，“C2 code”来指代由 C2 生成的机器码。五个层级分别是：

0、解释执行；
1、执行不带 profiling 的 C1 code；
2、执行仅带方法调用次数以及循环回边执行次数 profiling 的 C1 code;
3、执行带所有 profiling 的 C1 code;
4、执行 C2 code;
其中 1 层的性能比 2 层的稍微高一些，而 2 层的性能又比 3 层高出 30%。这是因为 profiling 越多，其额外的性能开销越大。

各层编译的路径如下图：

image.png

ps：在 5 个层次的执行状态中，1 层和 4 层为终止状态。当一个方法被终止状态编译过后，如果编译后的代码并没有失效，那么 Java 虚拟机是不会再次发出该方法的编译请求的。

3.1 热点检测

想要触发JIT编译，首先要识别出热点代码。目前主要的热点代码识别方式是热点探测(Hot Spot Detection)，有以下两种：

• 基于采样方式探测（Sample Based Hot Spot Detection）：周期性检测各个线程的栈顶，发现某个方法经常出现在栈顶，就认为是热点方法。好处就是简单，缺点就是无法精确确认一个方法的热度。容易受线程阻塞或别的原因干扰热点探测。
• 基于计数器的热点探测（Counter Based Hot Spot Detection）：采用这种方法的虚拟机会为每个方法，甚至是代码块建立计数器，统计方法的执行次数，某个方法超过阀值就认为是热点方法，触发JIT编译。

在HotSpot虚拟机中使用的是第二种——基于计数器的热点探测方法，因此它为每个方法准备了两个计数器：方法调用计数器(记录一个方法被调用次数)和回边计数器(循环的运行次数)。

image.png

3.2 编译阈值

当 JVM 执行一个 Java 方法，它会检查方法调用计数器和回边计数器的总和，以决定这个方法是否有资格被编译。如果有，则这个方法将排队等待编译。这种编译形式并没有一个官方的名字，但是一般被叫做标准编译。

这种编译是一个异步的过程，它允许程序在代码正在编译时被继续执行。

但是如果方法里有一个很长的循环或者是一个永远都不会退出并提供了所有逻辑的程序会怎么样呢？这种情况下，JVM 需要编译循环而并不等待方法被调用。所以每执行完一次循环，分支计数器都会自增和自检。如果分支计数器计数超出其自身阈值，那么这个循环（并不是整个方法）将具有被编译资格。

这种编译叫做栈上替换（OSR），JVM 必须有能力当循环正在运行时，开始执行此循环已被编译的版本。
程序执行过程中，动态替换掉 Java 方法栈帧，从而使得程序能够在非方法入口处进行解释执行和编译后的代码之间的切换。换句话说，如果一个循环被栈上替换方式所编译，那么下一次循环迭代则会执行新编译的代码。 默认情况C1的 OSR 编译的阈值为13500，C2为10700。

使用OSR最常见的目的就是在一个函数/方法的执行过程中，在执行引擎的不同优化层级之间切换，可以是从低优化层级向高优化层级切换，也可以反过来。这也就隐含了一个假设——这个执行引擎有多个层级的优化，可能是

• 一个解释器与一个JIT编译器的结合，例如以前老的HotSpot JVM，或者比较早期的Chakra，或者加入了Ignition解释器之后的V8；

• 一个无优化JIT编译器与一个优化JIT编译器的结合，例如JRockit JVM、Crankshaft时代的V8；

• 或者甚至一个解释器与多个JIT编译器的结合，例如现在的HotSpot JVM、现在的SpiderMonkey、JavaScriptCore；或者一个解释器与支持多种不同优化层级的同一个JIT编译器，例如IBM J9 JVM、现在的Chakra等；

• 还可以跟AOT结合，例如一个只做（相对比较）少量优化的AOT编译器，跟一个更优化的JIT编译器结合使用，例如计划于Oracle JDK9的某个更新版推出的AOT编译器，或者IBM J9 JVM。
  具体参考：https://www.zhihu.com/question/45910849/answer/100636125

3.3 编译优化

JIT除了具有缓存的功能外，还会对代码做各种优化，包括：逃逸分析、 锁消除、 锁膨胀、 方法内联、 空值检查消除、 类型检测消除、 公共子表达式消除
HotSpot的官方的编译优化技术列表https://wiki.openjdk.java.net/display/hotspot/performancetacticindex

参考
1、深入浅出 JIT 编译器

2、深入拆解Java虚拟机-即时编译，郑雨迪