正交表方法在创建测试套件上的应用(2)

 

在上部分正交表方法在创建测试套件上应用, 我们讨论了问题和面临的挑战，现在开始解决这个问题。

 

软件测试的目的就是发现缺陷，从理论上看，试图发现100％的缺陷，就要对各种组合进行测试。而我们的目标没有必要设在100％，而是通过一个优化组合去发现99.5％～99.9％以上的缺陷，而且产品的所有主要特性得到验证，就足够的，因为我们测试的对象是一个应用系统。从正交试验方法来看，我们将所有这些因素（操作系统、浏览器、代理服务器/防火墙、传输协议、客户端版本、第3方产品集成和本地化语言）考虑进去，然后根据因素之间的强度和对测试结果的影响程度，选定不同水平的正交表进行试验，通过分析找出对结果有影响的组合，就是要进行测试的组合。

这里正交试验方法所考察的“结果”，就是对测试所发现的缺陷的影响——每一种组合可以或可能发现的缺陷，实际也就是产品的特性对任一种组合的敏感度。我们再将“试验”概念扩展一下，就是以前完成的测试所积累下来的数据可以看作是这种试验的可用结果之一。另外，这里主要考虑功能特性，对于非功能特性（如性能、安全性），有另外一套特定的测试用例，而且影响因素也是不一样的，如性能集中在代理服务器/防火墙、传输协议上。

为了使问题简单些，我们可以将因素分类，先在各个类别进行正交组合试验和分析，然后再进行大类别的正交组合设计，使之整个测试套件的设计策略得到最优实现。

 

1 ．测试用例的分类

为了更准确分析组合并降低风险，可以将测试用例从两个角度进行分类：用例的优先级和用例的目标域。

用例按优先级（Priority）可以分为3类

Cp1 －最高级，这些测试用例所发现的缺陷是致命的——必须在当前版本修正后

Cp2 －中级，这些测试用例所发现的缺陷是较严重的——必须在下一个版本修正

Cp3 －最低级，这些测试用例所发现的缺陷是一般的——有时间最好修正

用例按目标域（Objectives）可以分为3类

Cu – 测试客户端功能界面的用例

Cl – 测试客户端功能逻辑的用例

Ci – 测试客户端集成（接口）的用例

当然，针对产品的不同特点/规模等，可以进行不同的、更多的层次分类。

 

2 ．操作系统和浏览器的正交性试验结果

OS\Browser	IE7.0	IE6.0 SP1	Firefox 2.0	Firefox 1.5	Mozilla 1.4	Mozilla 1.7.13	NS 8.1	Safari 1.3	Safari 2.0
Windows
Windows Vista	Y	Y	Y			Y	Y
Windows XP SP2	Y	Y	Y	Y		Y	Y
Windows 2000 SP4 Update Rollup 1		Y		Y		Y	Y
Windows 2003 Server R2		Y		Y		Y
Mac
Mac OS X Panther (10.3)			Y	Y	Y		Y	Y
Mac OS X 10.4 (Power PC)			Y	Y			Y	Y	Y
Mac OS X 10.4.6 (Intel native)			Y	Y			Y		Y
Solaris
Solaris 9			Y	Y	Y	Y
Solaris 10			Y	Y		Y
Linux
Red Hat Enterprise Linux 4			Y	Y	Y	Y	Y
SuSE Linux 10			Y	Y