JMH基准测试研究

JMH

BenchMark 叫做基准测试，主要是用来测试一些方法的性能，可以根据不同参数，以不同的单位进行计算。

可以通过设置BenchmarkMode 参数来设置是使用吞吐量为单位还是平均时间作为单位

Java Benchmark Harness, JMH是专门用于代码微基准测试的工具套件。这里的微，就是可以基于方法层面，精度可以达到毫秒级别。

JMH的 主要应用场景：

1.想准确的知道某个方法需要执行多长时间以及与传参之间的关系

2.对比同一个接口，在不同条件下的吞吐量

3.查看单位时间能执行多少强求

入门实现

首先JMH有一个实现清单示例清单。不得不说英文资料只要想找比中文资料要多得多。我们这里来实现下hello world

添加pom依赖：

    org.openjdk.jmh
    jmh-core
    1.19


    org.openjdk.jmh
    jmh-generator-annprocess
    1.19
    provided

这里需要注意，我第一下是用0.17版本，然后在代码里面添加@Benchmark 注解的时候，一直引不到包。后来发现就是这里的版本问题，写到1.19就没有问题了。

public class HelloWorld {

    @Benchmark
    public void hello(){

    }

    public static void main(String[] args) throws RunnerException {
        Options opt = new OptionsBuilder()
                .include(HelloWorld.class.getSimpleName())
                .forks(1)
                .build();
        new Runner(opt).run();
    }
}

执行后的输出结果是：

# JMH version: 1.19
# VM version: JDK 1.8.0_181, VM 25.181-b13
# VM invoker: D:\Program Files\Java\jdk1.8.0_181\jre\bin\java.exe
# VM options: -Dvisualvm.id=610415878661292 -javaagent:D:\Program 
Files\JetBrains\IntelliJ IDEA 2018.3\lib\idea_rt.jar=63740:D:\Program 
Files\JetBrains\IntelliJ IDEA 2018.3\bin -Dfile.encoding=UTF-8
# Warmup: 20 iterations, 1 s each
# Measurement: 20 iterations, 1 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Throughput, ops/time
# Benchmark: jmh.HelloWorld.hello

# Run progress: 0.00% complete, ETA 00:00:40
# Fork: 1 of 1
# Warmup Iteration   1: 3001357376.599 ops/s
# Warmup Iteration   2: 3224879376.706 ops/s
# Warmup Iteration   3: 3216559672.446 ops/s
# Warmup Iteration   4: 3131575191.942 ops/s
# Warmup Iteration   5: 3149948207.385 ops/s
# Warmup Iteration   6: 2830803401.832 ops/s
# Warmup Iteration   7: 3070451939.640 ops/s

里面具体的Warmup  ，Benchmark mode ， threads都是JMH 中的一些特有概念。

基本概念

Mode 

Mode 表示 JMH 进行 Benchmark 时所使用的模式。通常是测量的维度不同，或是测量的方式不同。目前 JMH 共有四种模式：

1. Throughput: 整体吞吐量，例如“1秒内可以执行多少次调用”。
2. AverageTime: 调用的平均时间，例如“每次调用平均耗时xxx毫秒”。
3. SampleTime: 随机取样，最后输出取样结果的分布，例如“99%的调用在xxx毫秒以内，99.99%的调用在xxx毫秒以内”
4. SingleShotTime: 以上模式都是默认一次 iteration 是 1s，唯有 SingleShotTime 是只运行一次。往往同时把 warmup 次数设为0，用于测试冷启动时的性能。

Interation 

Iteration是JMH进行测试的最小单位。大部分模式下，iteration代表的是一秒，JMH会在这一秒内不断调用需要benchmark的方法，然后根据模式对其采样，计算吞吐量，计算平均执行时间等。

Warmup 

Warmup是指在实际进行Benchmark前先进行预热的行为。因为JVM的JIT机制的存在，如果某个函数被调用多次以后，JVM会尝试将其编译成为机器码从而提高执行速度。所以为了让benchmark的结果更加接近真实情况就需要进行预热。

注解

现在来解释一下上面例子中使用到的注解，其实很多注解的意义完全可以望文生义 ：

@Benchmark 
表示该方法是需要进行 benchmark 的对象，用法和 JUnit 的 @Test 类似。

@Mode
Mode 如之前所说，表示 JMH 进行 Benchmark 时所使用的模式。

@State
State 用于声明某个类是一个“状态”，然后接受一个 Scope 参数用来表示该状态的共享范围。因为很多 benchmark 会需要一些表示状态的类，JMH 允许你把这些类以依赖注入的方式注入到 benchmark 函数里。Scope 主要分为两种。

1. Thread: 该状态为每个线程独享。
2. Benchmark: 该状态在所有线程间共享。
    

@OutputTimeUnit
benchmark 结果所使用的时间单位。

fork

进行 fork 的次数。如果 fork 数是2的话，则 JMH 会 fork 出两个进程来进行测试。

warmupIterations

预热的迭代次数。

measurementIterations

实际测量的迭代次数。