具有约束关系的因素如何实施组合测试
关键词：组合测试，因素具有约束关系，PICT实施组合测试
PICT的全称是Pairwise Independent Combinatorial Testing tool
本文总结了我在组合测试实践中获得的一些经验，组合测试百度一下有各种博文介绍，不过其中的例子大多是比较简单易懂的，我这里遇到的问题稍稍复杂了一些，因素之间具有约束关系，这里使用微软的工具PICT详细介绍如何定义约束关系生成有效的测试用例集。
假设场景如下：
| Cleaning |
Y |
N |
|
| Enable Analyze |
Y |
N |
|
| Normal Processing |
Y |
N |
|
| Terminate on Error |
Terminate |
Keep Running |
|
| Perform Validation |
Y |
N |
|
| Perform Remove |
Y |
N |
|
| Format |
Y |
N |
|
| Type |
Upper |
Lower |
Mixed |
最上面一级的两个选项Cleaning, Format
当Cleaning选项开的时候，它的子选项Enable Analyze, Normal Processing, Perform Validation, Perform Remove才可以开
当Normal Processing选项为开的时候，它的子选项Terminate on Error才可以开
当Format选项开的时候，它的子选项Type才可以开
接下来，我们需要新建一个模型文件，文本文件即可
第一部分把选项及其可以取到的值列出来，以逗号分割
第二部分把约束关系列了出来
- 如果Cleaning选项关闭，则Enable Analyze, Normal Processing, Perform Validation, Perform Remove不能为开
- 如果Normal Processing选项为开，则Terminate on Error的值只能是Terminate 或者Keep Running
- 如果Normal Processing 选项为关，则Terminate on Error 的值只能为关
- 如果Format 选项开，则Type的值是Upper或Lower 或Mixed
- 如果Format 选项关，则Type 的值只能为关
注意：Terminate on Error 以及Type 这两个选项 事实上是没有N这个值的，我在文件中加入这两个值是为了生成的结果更准确。如果我不加入N， 并且定义约束规则为IF [Format] = "N" THEN [Type] = ""； 则PICT程序会报
Constraints Warning: Restrictive constraints. Output will not contain following values: Format: N
结果不包含Format=N的记录，读者有兴趣可以自行实验。
当PICT读取模型文件时，它会解析约束规则，并将其应用于测试用例生成过程。生成的测试用例集既满足对有效取值组合的覆盖，又不包含无效取值组合。
Pict.exe及模型文件均放在D盘根目录下，在DOS窗口下运行 pict.exe model_file.txt > testing.xls
这里没有使用参数"/o:N"， 默认维度是2
打开输出文件 testing.xls 生成了14个测试用例，这些用例中不包含那些无效的取值组合。
到这里为止，工作其实还没有结束，我们还需要根据实际业务场景进一步审查及筛选，还有一些特殊场景不能漏掉，比如全默认选项。全开，全关上述用例已包含。
关于维度以及PICT的其它功能， 参考PICT 3.3 User’s Guide
Pairwise and Higher-Order Generation
By default, PICT generates a pairwise, or order two, suite of test cases–all pairs covered. You can set the order to a value larger than two using the option /o:. For example, if you specify /o:3, the resultant test cases will cover all triplets of values, producing a larger number of tests than the pairwise option, but potentially giving the test suite more coverage. The maximum order for a simple model is equal to the number of parameters, which will result in an exhaustive, all possible combinations, test suite. Following the same principle, specifying /o:1 will produce a test suite that covers all values only once (combinations of 1).
《微软的软件测试之道》建议从两因素组合测试开始，逐渐提高组合维度，直至6因素组合测试，因为有研究表明6因素组合测试可以发现绝大多数的程序缺陷。但是，随着组合维度的提高，测试用例数呈爆炸式增长。
PICT下载地址：http://download.microsoft.com/download/f/5/5/f55484df-8494-48fa-8dbd-8c6f76cc014b/pict33.msi
关于组合测试还有其它工具可以参照，例如
James Bach使用Perl语言开发了一个allpairs工具用于全对偶测试，本工具的下载地址：http://www.satisfice.com/tools/pairs.zip
美国Telcordia 技术公司有一个基于web的工具，它产生的结果集要优于全对偶测试(All Pairs)得到的结果集。
例如，存在40个参数且都有3个值的情况，这个工具可以使用21个测试用例来覆盖所有的pairs。全对偶测试(All Pairs) 则需要29个测试用例才能达到同样的效果，但是这个工具是收费的。