test mutation-03-变异测试 mujava Mutation 入门

拓展阅读

开源 Auto generate mock data for java test.(便于 Java 测试自动生成对象信息)

开源 Junit performance rely on junit5 and jdk8+.(java 性能测试框架。性能测试。压测。测试报告生成。)

test 系统学习-04-test converate 测试覆盖率 jacoco 原理介绍

µJava (muJava) 突变测试系统

µJava是用于Java程序的一种突变测试系统。它可以自动生成传统突变测试和类级突变测试的变异体。

µJava可以测试单个类和包含多个类的包。用户通过在单独的JUnit类中将测试作为对待测类的方法调用序列提供。

µJava是韩国科学技术高等研究院（KAIST）和美国乔治梅森大学的两所大学的合作成果。

研究合作者是韩国KAIST的博士生Yu Seung Ma、KAIST的教授Yong Rae Kwon以及美国乔治梅森大学的教授Jeff Offutt。

设计的大部分工作由Jeff和YuSeung完

成，最初的软件开发由YuSeung完成。在2012年和2013年，µJava进行了大规模修改，由Nan Li进行。

µJava是以“原样”提供给社区的。我们欢迎评论和反馈，但不能保证提供问题回答、故障修复或改进的支持（换句话说，我们没有支持的资金，只有良好的意图）。该页面包含以下内容：

1. 面向对象的Java和µJava的概述。
2. 可下载文件的链接。
3. 如何安装、设置和运行µJava的详细说明。
4. 已发表论文的参考文献。
5. 2007年3月：北卡罗来纳州立大学的Laurie Williams和Ben Smith修改了µJava成为Eclipse插件。他们的版本可以从sourcefourge获取。

I. 概述

µJava由Ma、Offutt和Kwon构建[1]。µJava使用两种类型的突变操作符，即类级和方法级。

Ma、Kwon和Offutt设计了适用于Java类的类级突变操作符[2]，这是根据Offutt、Alexander等人关于面向对象故障的分类[3]设计的。

µJava根据专门用于面向对象故障的24个操作符创建Java类的面向对象突变。方法级（传统）突变基于Offutt等人的选择性操作符集[4]。

创建变异体后，µJava允许测试人员输入和运行测试，并评估测试的突变覆盖率。

在µJava中，对待测类的测试被编码在单独的类中，这些类调用待测类的方法。变异体是自动生成和执行的。等价的变异体必须手动识别。

µJava在PDF中提供了类级突变操作符和µJava使用的方法级突变操作符的单独描述。

历史

• 2003年。首次发布为JMutation（Java Mutation System）。
• 2004年。更名为MuJava（Mutation System for Java）。
• 2005年。软件著作权登记，保留所有权利。
• 2005年。发布第2版，修复了一些错误和修改了突变操作符。
• 2008年。发布第3版，对Java 1.5和1.6提供最低限度的支持。
• 2013年。发布第4版，以支持JUnit测试和Java 1.6语言功能，包括泛型、注解、枚举、可变参数、增强的for-each循环和静态导入。
• 2015年。附加和改进的错误消息。针对OpenJava的错误修复。许可证更改为Apache许可证。

下载 µJava

虽然安装 µJava 在技术上并不复杂，也不复杂，但它将需要比安装许多商业软件包更多的努力。µJava 可在 Unix、Linux 和 Windows 平台上运行。您需要下载和部署三个文件；两个 Java 的 “jar” 文件和一个配置文件。

1. mujava.jar - µJava 系统库
2. openjava.jar - 为 µJava 改编的 OpenJava 库（OpenJava 网页）
3. mujava.config - 指定 µJava 系统主目录的文件

这两个 jar 文件应该放置在磁盘上的一个所有需要使用 µJava 的用户都可以访问的目录中，例如在 C:\mujava\。

µJava 在2013年4月进行了更新，以与 JUnit 和泛型一起使用。旧版本仍可供使用，如果您需要的话。

使用 µJava 测试类

µJava 系统要求修改 Java CLASSPATH，以包括 µJava jar、openjava jar、JUnit 库和 Java tools.jar 文件。此外，通用 PATH 变量必须包含 java bin 目录；这通常在安装 java 时自动设置，但并非总是如此。然后，使用一个 GUI（Java applet）生成变异体，测试人员必须创建测试，然后使用另一个 GUI 运行变异体。

1. µJava 系统的环境设置

设置 µJava 环境有三个步骤：(1) CLASSPATH，(2) 设置配置文件，(3) 创建子目录。

Java CLASSPATH 必须包括两个 µJava jar 文件和一个标准的 Java jar 文件。tools.jar 是 Java（JDK）编译器的标准配备，可能位于 “JavaHome/lib/” 目录中。两个 µJava 文件是 mujava.jar 和 openjava.jar，可从此站点下载。

Windows

在 DOS 窗口中，使用以下命令（假设 classes 在 C:\mujava 下）：

set CLASSPATH=%CLASSPATH%;C:\mujava\mujava.jar;C:\mujava\openjava.jar;C:\jdk1.7.0\lib\tools.jar;C:\mujava\classes

在 Cygwin 窗口中，使用以下命令：

CLASSPATH="$CLASSPATH;C:\mujava\mujava.jar;C:\mujava\openjava.jar;C:\jdk1.7.0\lib\tools.jar;C:\mujava\classes" ; export CLASSPATH

要在 Windows 中永久更改 CLASSPATH，请转到开始-设置-控制面板。双击系统，转到高级选项卡，选择环境变量。编辑 CLASSPATH 变量或者如果没有，则创建一个新变量。将 mujava.jar 和 openjava.jar 的完整路径添加到 CLASSPATH 中。

Unix

在 Unix 中，设置 CLASSPATH 环境变量。假设 jar 文件存储在用户 mujava 的主目录中：

CLASSPATH=$CLASSPATH:/home/mujava/mujava.jar:/home/mujava/openjava.jar:/java1.4/jdk1.7.0/lib/tools.jar ; export CLASSPATH

请注意，语法在不同的 shell 下会有所不同，将命令放入设置文件中（如 .login、.bash_profile 或 .bashrc）会更方便。

Mac

打开终端，键入 “echo $JAVA_HOME” 和 “echo $PATH”，确保环境变量 JAVA_HOME 和 PATH 设置正确。

获取 JAVA_HOME
获取 PATH

如果您不知道如何在 Mac 上安装 JDK 7，请阅读有关如何安装 JDK 7 以及如何设置 JAVA_HOME 和 PATH 环境变量的文章。

接下来，修改 mujava.config 文件，指向一个您希望存储源 Java 文件和 muJava 临时文件的目录。该目录必须是完整路径（无论是 Windows 还是 Unix）。例如，配置文件可能包含以下行：MuJava_HOME=C:\home\mujava\exp。

重要提示： 必须将配置文件复制到运行 muJava 系统的目录中。

最后，在 $MuJava_HOME 目录中为 muJava 系统创建目录结构。假设您的 MuJava_HOME 目录称为 MuJava，子目录应如下使用：

• MuJava_HOME\src - 用于测试的 Java 文件目录
• MuJava_HOME\classes - 从 MuJava_HOME\src 中的 Java 文件编译的类目录
• MuJava_HOME\testset - 用于测试集的目录
• MuJava_HOME\result - 用于生成的变异体的目录

手动创建这些子目录，或者使用 muJava 类 “mujava.makeMuJavaStructure”。

java mujava.makeMuJavaStructure

潜在问题：我们已经确定了安装 µJava 时可能出现的一些潜在问题。

• 重要的是 MuJava_HOME 变量不要有尾随斜杠。这会使 µJava 混淆。
• 如果您的 java 编译器和 JVM 的版本不同，µJava 可能会感到困惑。当计算机上的新应用程序更新 JVM 时，有时会发生这种情况。如果在编译或杀死变异体时出现问题，我们建议删除所有 Java 组件并重新安装最新版本。
• 如果您的 tools.jar 文件过时（Java 1.4 之前的版本），µJava 的某些部分可能无法正常工作。

2. 用 muJava 生成变异体

重要提示： 您应该在包含 “mujava.config” 文件的目录中运行所有命令。

1. 将要测试的源文件放入 MuJava_HOME\src 目录。muJava 不会检查编译错误，因此所有 Java 文件都应正确编译。如果要测试的 Java 文件需要其他 Java 文件或类文件，则它们也应放置在 MuJava_HOME\src 中。例如，假设要测试 B，它是 A 的子类。然后，应将 A.java 和 B.java 放入 MuJava_HOME\src。如果文件具有包结构，则应将整个包存储在 MuJava_HOME\src 的子目录中。

2. 编译 MuJava_HOME\src 中的所有 Java 文件，并将 .class 文件复制到 MuJava_HOME\classes\ 目录中。

3. 从命令行启动 GUI。使用它生成变异体：

   java mujava.gui.GenMutantsMain
   

   通过在左侧的框中单击来选择要变异的文件。通过选择其框来选择要使用的变异操作符。然后点击 RUN。

   注意： 类变异操作符产生的变异体要少得多。还请注意，许多状态消息会发送到命令窗口，而不是 GUI。

4. 生成变异体后，可以在 “Class Mutants Viewer” 和 “Traditional Mutants Viewer” 选项卡中查看变异体，如以下两个图所示：

5. 您可能想知道类的变异版本存储在何处。它们位于 MuJava_HOME\result\ 下。以下示例显示了 result 下的 Stack 目录，其中包含 class_mutants 中的面向对象的变异体和一个单独目录中的传统变异体。

   MuJava_HOME
   └── result
       └── Stack
           ├── class_mutants
           └── traditional_mutants
   

   一个简短的 shell 脚本将帮助您运行 µJava。以下是一个用于在 Windows 中创建变异体的示例 shell 脚本：

3. 创建测试集

在 muJava 中，测试集必须是一个 JUnit 测试用例。不支持 JUnit 测试套件。每个测试都是一个包含对类中方法的方法调用序列的方法。测试方法和测试类应具有公共访问权限。

以下是一个名为 testVendingMachine 的用于类 vendingMachine 的 JUnit 测试类示例。JUnit 的 .class 文件应位于目录 MuJava_HOME\testset\ 中。

4. 运行变异体

从另一个 GUI 中运行变异体。使用以下命令启动它：

java mujava.gui.RunTestMain

您应该会看到以下 GUI。您可以选择要运行的变异体集合以及要使用的测试集。“Class Mutants Viewer” 和 “Traditional Mutants Viewer” 选项卡将显示变异体的源视图。您可以设计测试来杀死变异体，方法是找到一个存活的变异体，然后分析程序以确定什么输入将其杀死。请记住，通常只有 5% 到 20% 的变异体是等效的。