鉴源论坛 · 观模丨基于软件性质的自动化测试技术

作者 | 熊一衡 华东师范大学软件工程学院博士

         苏亭 华东师范大学软件工程学院教授

版块 | 鉴源论坛 · 观模

社群 | 添加微信号“TICPShanghai”加入“上海控安51fusa安全社区”

在软件开发的生命周期中，测试是至关重要的一环。为了确保软件产品的质量，开发团队需要进行全面的测试，以发现和修复软件中潜在的缺陷和问题。传统的人工测试虽然有效，但却耗时耗力，且成本较高。为了提高测试效率和准确性，自动化测试已经成为一个重要的研究领域。

图1 自动化测试技术

图1介绍了现有的几种自动化测试方法 [1]。X轴表示Feature compliance，即测试是否覆盖测试人员想要测试的功能，而Y轴表示 Input scope covered， 表示测试输入的覆盖程度。可以看出，在图的右上角缺了一块，即同时满足high feature compliance和full input scope covered 的测试技术。这个技术就是接下来要介绍的基于性质的测试技术（property-based testing）。

01

什么是基于软件性质的自动化测试技术

基于软件性质的测试（property-based testing）是一种很受欢迎的自动化测试技术，其原理是测试人员编写适用于待测软件的真实逻辑语句（即性质），然后使用自动化测试工具生成大量的测试输入，以充分测试待测软件，并验证测试人员编写的性质是否得以满足 [2]。如果性质被违反，则表明软件可能存在错误（bug）。例如，下图是一个待测程序`my_sort()`，其功能是对输入的序列进行排序，并返回排序后的序列。

图2 待测程序

为了测试`my_sort()`, 通常测试人员会编写单元测试用例。编写传统的单元测试需要人工指定测试输入和预期输出。如下图所示，有6个测试用例来测试待测程序。然而，这种方法的缺点在于它非常耗人力，因为对于每一个测试输入，我们都需要手动去指定相应的测试输出。此外，测试的输入有限，依赖于测试人员的知识，因此难以充分测试待测程序。

图3 单元测试用例

然而，如果使用property-based testing，我们仅仅编写一个测试方法就可以覆盖所有的测试输入。一开始，我们根据待测程序的理解，给出待测程序应该有的性质（property）。比如，my_sort()应该满足的一个性质为：返回list中的每一个元素都不应该大于它们之后的一个元素。根据这个性质，我们就可以编写出一个测试用例。注：我们以面向python语言的property-based testing 框架hypothesis为例来编写。

图4 Property-based testing测试用例

如上图所示，代码的第一行 `@given(st.lists(st.integers())` 是一个装饰器，表示一旦测试开始，Hypothesis 将生成大量随机的list作为`test_prop_ordered()`函数的输入。每一个生成的list都将作为参数xs传递给`test_prop_ordered()`函数，并执行函数体，然后验证assert 语句是否为真。这样，我们就可以自动化生成足够多的list来验证待测程序是否满足我们设定的性质，而不用人为地去指定具体的测试输入和输出数据，大大提高了测试效率。

02

如何进行基于软件性质的自动化测试

上节介绍了Property-based testing的概念，这节介绍如何进行基于软件性质的自动化测试。我们用一个通用的模板来解释如何进行property-based testing:

图5 property-based testing模板 

第一步：确定你想要测试的程序性质。如图5中第三行所示，测试人员通过对待测程序的理解来确定想要测试的程序性质。例如，在图4中，该测试用例旨在验证以下程序性质：排好序的list中每一个元素都不应该大于其后的元素。如果在测试过程中违反了这个性质，那么表明待测程序可能出现了一个Bug。

第二步：确定测试输入类型及范围。在完成第一步后，测试人员应该确定将要传递给待测程序的测试输入的类型和范围，如图5中第一，二行所示。例如，在图4中，由于待测程序的功能是对list中的元素的大小进行排序，那么测试输入应该是list。同时，由于排序涉及到元素的大小比较，因此列表中的元素应该是数字。在这里，我们选择了整数（integer）作为元素类型。

第三步：编写并运行测试用例。目前，针对不同的软件或者程序语言，开发人员已经开发出了多种基于性质的测试框架（Java: QuickTheories, Python: Hypothesis, C++: RapidCheck, Scala: ScalaCheck, JavaScipt: fast-check, Ruby: Rantly, Swift: Swiftcheck等等）[3-9]。一旦选择了适合的测试框架，我们就可以利用测试框架编写出相应的测试用例并且运行它们。

03

如何选择合适的软件性质

前两节介绍了property-based testing的概念以及如何进行property-based testing，我们可以看出property-based testing是一个非常高效的测试技术。然而，当测试人员真正开始编写测试用例的时候，他们经常会碰见一个问题：应该选择什么样的性质来进行测试？因此，在本节中，我们将介绍一下比较通用的性质 [10],希望可以启发到测试人员如何选择合适的软件性质。

性质1：对称性（Symmetry）。如下图所示。如果能够将某些值转换成其他值，然后再转换回来，那么它应该和原值保持一致。例如，序列化（Serialization）就是一个典型的例子。将文本转化成一个对象，然后将该对象转换回来，则文本应该保持不变。

图 6 对称性

性质2：交换性（Commutativity）。该性质指的是改变执行操作的顺序，但是最终结果不会变化。例如，如下图所示，将一个list头部加入一个元素，再将其尾部加入一个元素，如果将这两个操作的顺序交换，最终得到的list应该是相同的。

图 7 交换性 

性质3：不变性（Invariants）。该性质指的是执行某些操作后，并不会改变测试对象的某些性质。例如，如下图所示，将一个数组排序后，该数组的长度应该保持不变。

图 8 不变性 

性质4：幂等性（Idempotence）。该性质一般指多次执行某种操作和执行一次某种操作带来的效果应该是一样的。例如，如下图所示，对于一个列表，对其进行一次排序和多次排序，最终结果应该是相同的。

图 9 幂等性

性质5：推导性（induction）。该性质通常指的是，如果一个大的对象可以分成更小的对象，并且对于某些性质来说在这些小的对象上成立，那么可以证明这些性质在大的对象上也成立。例如，如下图所示。如果黑色集合中含有某个元素，那么红色、蓝色、绿色、黑色的大集合中也应该有某个元素。

图 10 推导性

04

总结

基于性质的测试在近些年已经成为了一个非常受欢迎的测试技术，并且开发者们已经开发出了多种基于性质的测试框架。这种技术有非常多的优点，例如，理论上它可以覆盖所有的可能的测试输入，更充分地测试用户关心的功能，以及降低测试成本。然而，由于其特性，也存在一些挑战。例如，由于其只关心想要测试的性质，那么就导致对于某个性质测试得很充分，对于其他性质就根本没有测试到。此外，测试人员需要足够了解待测软件，以抽象出应该保持的性质，这对测试人员的要求比较高。另外，开发一个高效的基于性质的测试框架对于开发人员来说也是一个大的挑战。开发人员需要思考如何使测试人员更轻松地编写性质，以及如何才能开发出更好的数据生成器等。最重要的是，基于性质的自动化测试技术并不意味着取代其他测试技术（例如，单元测试），而是可以与其他测试技术共存。测试人员应该根据测试的需求，选择合适的测试技术，使其更好地服务于软件测试。

参考文献：

[1]https://medium.com/criteo-engineering/introduction-to-property-based-testing-f5236229d237

[2] Claessen, K., Hughes, J.: QuickCheck: a lightweight tool for random testing of Haskell programs. In: Proceedings of the Fifth ACM SIGPLAN International Conference on Functional Programming (ICFP’00), ACM, pp. 268–279 (2000). https://doi.org/10.1145/ 351240.351266

[3] QuickTheories. https://github.com/quicktheories/QuickTheories

[4] Hypothesis. https://hypothesis.works/

[5] RapidCheck. https://github.com/emil-e/rapidcheck

[6] ScalaCheck. https://github.com/typelevel/scalacheck

[7] fast-check. https://github.com/dubzzz/fast-check

[8] Rantly. https://github.com/rantly-rb/rantly

[9] SwiftCheck. https://github.com/typelift/SwiftCheck

[10] https://fsharpforfunandprofit.com/posts/property-based-testing-2/