深入浅出学测试——（五）

六：性能测试

单元测试是对软件的功能进行测试，而软件除了要满足需求的功能外，还应该能够拥有较好的性能。这就需要进行如下两个方面的测试：

• 使用Jmeter进行压力测试

• 使用Profiler检查内存泄露

• 使用JavaVisualVM检查内存使用情况

下面让我们一起学习一下Jmeter吧！

Jmeter定义

JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试但后来扩展到其他测试领域。 它可以用于测试静态和动态资源例如静态文件、Java 小服务程序、CGI 脚本、Java 对象、数据库， FTP 服务器， 等等。JMeter 可以用于对服务器、网络或对象模拟巨大的负载，来自不同压力类别下测试它们的强度和分析整体性能。另外，JMeter能够对应用程序做功能/回归测试，通过创建带有断言的脚本来验证你的程序返回了你期望的结果。为了最大限度的灵活性，JMeter允许使用正则表达式创建断言。

Apache jmeter 可以用于对静态的和动态的资源（文件，Servlet，Perl脚本，java 对象，数据库和查询，FTP服务器等等）的性能进行测试。它可以用于对服务器，网络 或对象模拟繁重的负载来测试它们的强度或分析不同压力类型下的整体性能。你可以使用它做性能的图形分析或在大并发负载测试你的服务器/脚本/对象。

Jmeter的作用

1.能够对HTTP和FTP服务器进行压力^[1] 和性能测试， 也可以对任何数据库进行同样的测试（通过JDBC）。

2.完全的可移植性和100% 纯java。

3.完全 Swing 和轻量组件支持（预编译的JAR使用 javax.swing.*)包。

4.完全多线程 框架允许通过多个线程并发取样和 通过单独的线程组对不同的功能同时取样。

5.精心的GUI设计允许快速操作和更精确的计时。

6.缓存和离线分析/回放测试结果。

JMeter的高可扩展性

1.可链接的取样器允许无限制的测试能力。

2.各种负载统计表和可链接的计时器可供选择。

3.数据分析和可视化插件提供了很好的可扩展性以及个性化。

4.具有提供动态输入到测试的功能（包括Javascript）。

5.支持脚本编程的取样器（在1.9.2及以上版本支持BeanShell）。

在设计阶段，JMeter能够充当HTTP PROXY（代理）来记录IE/NETSCAPE的HTTP请求，也可以记录apache等WebServer的log文件来重现HTTP流量。当这些HTTP客户端请求被记录以后，测试运行时可以方便的设置重复次数和并发度（线程数）来产生巨大的流量。JMeter还提供可视化组件以及报表工具把量服务器在不同压力下的性能展现出来。^[2]

相比其他HTTP测试工具,JMeter最主要的特点在于扩展性强。JMeter能够自动扫描其lib/ext子目录下.jar文件中的插件，并且将其装载到内存，让用户通过不同的菜单调用。

Jmeter使用

                                             

   Jmeter的官方网站为http://jmeter.apache.org/download_jmeter.cgi，可以直接下载apache-jmeter-2.13.zip，解压后即可使用。运行解压后的bin/jmeter.bat即可启动Jmeter服务器，如图：

要进行测试，首先需要创建测试计划。测试计划描述了执行测试过程中Jmeter的执行过程和步骤，一个完成的测试计划包括一个或者多个线程组（ThreadGroups）、逻辑控制（Logic Controller）、实际产生控制器（Sample Generating Controllers）、监听器（Listener）、定时器（Timer）、比较（Assertions）、配置元素（Config Elements）。打开Jmeter时，它已经建立了一个默认的测试计划，一个Jmeter应用的实例只能建立或者打开一个测试计划。

   现在我们开始新建一个测试计划的内容，这个测试计划向一个JSP文件发出请求，我们需要Jmeter模拟10个请求者（也就是10个线程），每个请求者连续请求五次。这需要在测试计划中新建一个请，如图

【测试计划】右键 ->【添加】->【Threads】->【线程组】 ok这样你就创建成功了。如图

添加完线程组后我们需要添加一个HTTP请求默认值，【线程组】右键 ->【添加】->【配置元件】->【HTTP cookie管理器】

添加HTTP请求，为录制http连接使用

然后就是添加HTTP代理服务器了

最后就是通过选择测试报告的样式来添加监听器了，【线程组】右键 ->【添加】->【监听器】选着自己需要的报表样式

 

该图中显示了每一个请求所花的毫秒数及是请求是否成功。

Jmeter参数说明

1、Label： 定义的HTTP请求名称

2、Samples： 表示这次测试中一共发出了多少个请求

3、Average： 访问页面的平均响应时间

4、Min: 访问页面的最小响应时间

5、Max: 访问页面的最大响应时间

6、Error%： 错误的请求的数量/请求的总数

7、Throughput：每秒完成的请求数

8、KB/Sec： 每秒从服务器端接收到的数据量

 

下面学习使用Java VisualVM – JDK来监控内存：

Java VisualVM – JDK自带的强大性能监测工具

这里给出了另一种，可以通过jdk下bin目录下的jconsole.exe来观察java程序内存的使用及变化情况

 

<span style="color: rgb(255, 131, 115);letter-spacing: 0;font-family: "&font-size: 9px;text-underline: none"><span style="color: rgb(255, 131, 115);letter-spacing: 0;font-family: "&font-size: 9px;text-underline: none">

 

 

下面我们开始学习Java Profiler

Profiler 工具功能简介

虽然市场上的 Java Profiler 工具有不少，但是基本功能大多相似，本节首先对这些基本功能进行介绍。

·        遥测（Telemetry）：遥测是一种用来查看应用程序运行行为的最简单的方法。通常会有多个视图（View）分别实时地显示 CPU 使用情况、内存使用情况、线程状态以及其他一些有用的信息，以便用户能很快地发现问题的关键所在。

o   CPU Telemetry 视图一般用于显示整个应用程序的 CPU 使用情况，有些工具还能显示应用程序中每个线程的 CPU 使用情况。

o   Memory Telemetry 视图一般用于显示堆内存和非堆内存的分配和使用情况。

o   Garbage Collection Telemetry 视图显示了 JVM 中垃圾收集器的详细信息。

o   Threads Telemetry 视图一般用于显示当前运行线程的个数、守护进程的个数等信息。

o   Classes Telemetry 视图一般用于显示已经载入和还没有载入的类的数量。

·        快照（snapshot）：应用程序启动后，profiler 工具开始收集各种执行数据，其中一些数据直接显示在遥测视图中，而另外大部分数据被保存在内部，直到用户要求获取快照，基于这些保存的数据的统计信息才被显示出来。快照包含了应用程序在一段时间内的执行信息，通常有两种类型的快照：CPU 快照和内存快照。

o   CPU 快照主要包含了应用程序中函数的调用关系及运行时间，这些信息通常可以在 CPU 快照视图中进行查看。

o   内存快照则主要包含了内存的分配和使用情况、载入的所有类、存在的对象信息及对象间的引用关系。这些信息通常可以在内存快照视图中进行查看。

·        CPU Profiling：CPU Profiling 的主要目的是统计函数的调用情况及执行时间，或者更简单的情况就是统计应用程序的 CPU 使用情况。通常有两种方式来显示 CPU Profiling 结果：CPU 遥测和 CPU 快照。

·        内存 Profiling：内存 Profiling 的主要目的是通过统计内存使用情况检测可能存在的内存泄露问题及确定优化内存使用的方向。通常有两种方式来显示内存 Profiling 结果：内存遥测和内存快照

·        线程 Profiling：线程 Profiling 主要用于在多线程应用程序中确定内存的问题所在。 一般包括三个方面的信息：

o   某个线程的状态变化情况

o   死锁情况

o   某个线程在线程生命期内状态的分布情况

·        Profiling 的启动设置：类似于 eclipse 中 Run 和 Debug 的启动设置，进行 Profiling 之前也需要进行启动设置，包括：profiling 的模式 (CPU profiling 或内存 profiling)，信息获取类型（遥测 , 抽样统计或者 BCI ) 等等。

·        Profiler Preference 设置：主要用于 Profiler 过滤器（选择需要关注的包、类）、取样间隔时间的设置等。

Java Profiler 工具介绍

本文接下来将对目前市场上常见的几种 Java Profiler 工具进行介绍。

TPTP

TPTP（Test and Performance Tools Platform）是 eclipse 官方的 Profiling 工具插件。TPTP 提供了诸如测试，追踪（trace），性能测试，图形界面性能分析等功能。同时 TPTP 还是一个可扩展的开发平台框架，你可以对它加以扩展集成到你自己的产品中。TPTP 可以通过 Eclipse update Manager 或者是安装包进行安装，安装成功后会在 eclipse 中增加如下所示的按钮，另外一个专门的用于检查 TPTP profiling 结果的 perspective 也会添加进 eclipse 中，如下图所示：

图 1. TPTP

CodePro Profiler

CodePro Profiler 是由 instantiations 公司推出的一款商用 eclipse 插件，它可以通过 Eclipse update Manager 进行安装或者是将安装包直接解压缩后保存在 eclipse 的指定目录下。与 TPTP 类似，安装成功后，有一个专门的用于查看 CodePro profiling 结果的 perspective 会添加进 eclipse 中，如下图所示：

图 2. CodePro

YourKit Profiler

YourKit Java Profiler 也是一款商用软件，支持的操作系统包括：Windows, Linux, FreeBSD, Mac OS X, Solaris 以及 HP-UX；支持的 IDE 包括：Eclipse, JBuilder, JDeveloper, NetBeans 以及 Intellij IDEA。安装成功且首次启动 YourKit Java Profiler 后，会弹出一个对话框，让用户选择 YourKit Java Profiler 要集成进的 IDE，并指定该 IDE 的安装路径，点击”Install Plugin”按钮并集成成功之后，Eclipse 中会出现如下图标，用户就可以从 Eclipse 中启动 Profiling，但是 profiling 的结果需要在 YourKit Java Profiler 中进行查询，如下图所示：

图 3. YourKit

JProfiler

JProfiler 是由 ej-technologies 推出的一款商用软件，支持的操作系统有：Windows, Linux, Mac OS X, FreeBSD, Solaris, AIX 以及 HP-UX；支持的 IDE 包括：Eclipse, NetBeans, Intellij IDEA, JBuiler 以及 JDeveloper。安装成功并首次启动 JProfiler 后，会弹出一个设置界面，当完成左栏所示的那些步骤后，Eclipse 中就会出现如下图标，用户就可以从 Eclipse 中启动 Profiling。与 YourKit Java Profiler 类似，profiling 的结果需要在 JProfiler 中进行查询，如下图所示：

图 4. JProfiler

Java Profiler 工具比较

本章节将从如下几个方面对上述工具进行比较：

·        与 Eclipse 的集成性

o   TPTP：是一款基于 Eclipse 开发的插件，因此与 eclipse 的集成性很好。安装成功后，对 TPTP 的一切设置与操控都可以在 eclipse 中完成；另外，profiling 的结果也可以在 eclipse 中进行查询。

o   CodePro Profiler: 与 TPTP 类似，CodePro Profiler 也是一款基于 eclipse 开发的插件，因此与 eclipse 的集成性很好好。用户在 eclipse 中就可以完成对 profiling 的所有操作。

o   YourKit Java Profiler: YourKit Java Profiler 可以说是一个比较独立的工具，安装成功后，用户可以直接在 eclipse 中启动 YourKit Java Profiler 并对 profiling 选项进行配置，但是用户必须在 YourKit Java Profiler 工具中对 Profiling preferrence 进行配置，而且 profiling 信息必须在 YourKit Java Profiler 中进行查看。因此和 Eclipse 的集成度一般。

o   JProfiler: JProfiler 也是一款比较独立的工具，安装成功后，用户可以直接在 eclipse 中启动 JProfiler，其他所有操作必须回到 JProfiler 工具中进行。因此和 Eclipse 的集成性不好。

·        遥测种类

o   TPTP：目前使用的 4.6.2 的版本只提供了线程 Telemetry。

o   CodePro Profiler: 总共有五个类型：CPU, 内存 , 线程 , 载入的类以及垃圾收集。

o   YourKit Java Profiler: 与 CodePro Profiler 相比，缺少载入类的监测。

o   JProfiler: 与 CodePro Profiler 一样，总共有五个类型的监测方法。

·        CPU 快照包含的统计数据类型

o   TPTP： CPU 快照包含的统计数据有：

§  包的组成关系，细化到包含的类及类中的方法。

§  方法的调用关系：以每个线程为根节点的方法调用信息，对于树中出现的代表方法的每个节点，列出了该方法的运行时间或运行时间百分比，以及该方法被调用的次数。

§  方法被调用情况：列出了直接调用某方法的其他方法，以及这些方法调用该方法的次数及相关运行时间。

§  热点列表：包含了 CPU 占用时间排列前十的方法、类或包。

o   CodePro Profiler: CPU 快照包含的统计数据类型有：

§  包的组成关系，细化到包含的类及类中的方法。

§  方法的调用关系。以树结构表示，根据根节点表示的对象的不同，分为三种类型：以每个线程为根节点的方法调用关系，以整个线程为根节点的方法调用关系，以及以每个方法为根节点的方法调用关系。对于树中出现的代表方法的每个节点，列出了该方法的运行时间或运行时间百分比，以及由该方法生成的对象个数和为这些对象分配的内存大小。

§  方法的被调用关系。该关系以树结构表示，其中根节点为某个指定的方法，每个节点的子节点为父节点的调用者。

§  热点列表：包含了 CPU 占用时间排前的一些方法。

o   YourKit Java Profiler：CPU 快照包含的统计数据类型与 CodePro Profiler 类似；

o   JProfiler：与 CodePro Profiler 相比，缺少以每个方法为根节点的方法调用关系。因此当要查看以某个方法为调用起点的调用关系时，需要到以线程为根的树结构当中去查找。另外，方法的被调用关系不是以树结构来表示的，而是以图的方式来显示的，当调用关系比较复杂的时候，很难在一个屏幕中看到一个全局关系图。

·        内存快照包含的统计数据类型

o   TPTP：包含了类实例的内存分配情况，包括实例化的对象个数，以及这些对象的本身占用内存的大小。相对于其它 Java Profiler 工具，TPTP 的内存快照包含的统计数据类型比较少。

o   CodePro Profiler: 包含的统计数据有

§  类实例的内存分配情况，包括实例化的对象个数，以及这些对象的 shallow 和 retained 大小。（Shallow size 就是对象本身占用内存的大小，不包含对其他对象的引用；Retained size 是该对象自己的 shallow size，加上从该对象能直接或间接访问到的 shallow size 之和，即该对象被 GC 之后所能回收到内存的总和）。

§  最大对象列表：包含了 retained 大小排前的一些对象。

§  有可能存在内存泄漏的对象列表：包含了有可能存在内存泄漏的对象以及可能性大小。

o   YourKit Java Profiler：与 CodePro Profiler 相比，缺少内存泄露对象列表这一项。

o   JProfiler：与 CodePro Profiler 相比，缺少 retained size 统计数据及内存泄露对象列表。

·        源代码定位功能，即在快照中选中某个类、成员变量或者方法时，可以在源代码中定位到对应的定义。

o   TPTP：只能定位到某个类，无法定位到方法或其中的成员变量。

o   CodePro Profiler: 拥有该功能，但是只能定位到类及成员变量，无法定位到方法。

o   YourKit Java Profiler：可以定位到类、成员变量及方法。

o   JProfiler：与 CodePro Profiler 类似。

·        快照操作，主要从快照的获取、快照的保存及快照的比较这三方面进行比较。

o   TPTP：当应用程序启动后，用户可以选择在适当的时候进行快照获取；这些快照不会自动保存，因此当 eclipse 关闭后，这些快照数据将会消失，但是用户可以通过 export 的方式将需要的快照保存下来。

o   CodePro Profiler: 当应用程序启动后，用户可以选择在适当的时候进行快照获取；这些快照会被自动保存在 Eclipse Workspace 之外的一个临时的空间，当 eclipse 关闭后，这些快照将会消失，用户可以通过 export 的方式将需要的快照保存下来；CodePro Profiler 还提供了快照的比较功能，不过前提是这两个快照的类型必须相同（例如：都是以 sampling 模式或 BCI 模式运行的）。

o   YourKit Java Profiler：当应用程序启动后，用户可以选择在适当的时候进行快照获取，针对内存快照，YourKit Java Profiler 还提供了自动获取快照的功能；这些快照会被自动保存到一个临时的文件夹中，eclipse 关闭后，这些文件不会消失；另外，YourKit Java Profiler 也提供了快照比较功能。

o   JProfiler：工具会要求你指定一个目录来保存该 snapshot。

·        性能，在 sampling 模式下，这些工具的性能相差不大，这里主要比较在 BCI 模式下的性能。

o   TPTP：目前使用的 4.6.2 的版本没有 BCI 模式。

o   CodePro Profiler：当程序比较大的情况下，采用 BCI 模式进行 profiling 的速度比较慢；另外，在获取内存泄露候选者的时候，速度也是相当慢。（当程序代码量 5 万行时，用 CodePro Profiler 进行 Profiling 需要 5 分钟，在获取内存泄露候选者时，需要花费 20 分钟）

o   YourKit Java Profiler：BCI 模式下的运行速度还可以。（当程序代码量为 5 万行时，需要 1 分钟）

o   JProfiler：感觉不出程序运行速度受影响。（当程序代码量为 5 万行时，需要半分钟）

·        健壮性，采用 CodePro Profiler 对比较大的应用程序进行 profiling 时，很容易出现栈溢出的错误。

结论

TPTP 是一款基于 eclipse 的开源软件，且提供的功能比较简单，因此适用于基于 eclipse 开发的应用程序，且该应用程序比较简单的情况；Codepro Profiler 提供的功能相对来说比较丰富，且与 eclipse 的集成性很好，但是在性能方面有待改善，因此适用于基于 eclipse 开发的应用程序，且对性能要求不高的情况；YourKit Java Profiler，JProfiler 与 Eclipse 的集成性都属于一般，提供的功能也比较丰富，且性能不错，因此适用于对 eclipse 集成度要求不高，且对性能要求较高的情况。