现在我们的生活离不开各种各样的软件,而软件质量也是和我们的生活息息相关的。在历史上发生过许多次因为软件故障所引发的重大的损失,比如2002年有一个日本的证券公司,就因为软件的故障导致超过了400亿日元的一个损失,1990年美国AT&T电影公司因为交换机的故障损失超过了7500万美金,而另外一个更重要的例子,千年虫bug就是上世纪90年代,全球因为这个修改的软件和各种其他的损失加在一起超过了五千亿。
这些都告诉我们软件质量其实对我们的影响是非常大的,软件测试作为软件质量保证的重要组成部分,在软件研发当中有着重要的地位,也是不可或缺的一部分,那么到底什么是软件测试呢?
行业是怎么对软件测试定义的。1973年Hetzel对软件测试的一个早期定义,他说“软件测试是对程序能够按预期运行建立起一种信心”,就是软件测试更多的是保证软件发布以后有一个质量的信心。现在大家比较通用的经典定义,是1979年Myers提出的,“测试是为发现错误而执行程序的过程”,测试的目的是为了发现错误,而手段是通过执行程序。
现在最新的定义IEEE定义(ISO/IEC/IEEE 29119),“使用人工或自动的手段来运行或测量软件系统的过程,以检验软件系统是否满足规定的要求,并找出与预期结果之间的差异”,测试的手段可以是人工或者是自动的,他的目的是寻找给定的规定的要求和我们实际软件的预期结果他们之间有一个差异,软件测试的目的就是寻找这种差距。
那软件测试到底测什么?测试对象是什么?是不是说我们软件测试它的测试对象就是我们软件本身呢?就是我这个运行的程序本身呢?答案是否定的。软件测试其实在软件的整个研发周期当中,其实都是存在的。他的程序对象从前期的需求到软件的概要设计、软件的详细设计、软件的源码、可运行的软件程序、甚至最后软件运行的这个环境,都是我们软件测试的测试对象,也就是说我们软件测试应该覆盖到软件研发生命周期的方方面面。
那软件测试具体有哪些要素,测试的目标是什么?
软件测试有五大要素,就是质量、人员、资源、流程、技术,其中最核心的是软件质量,其他四个要素都是为软件质量服务的,除了软件质量之外,重要的当然是我们的人,人是决定的因素,决定了技术、流程以及资源的配置使用。而技术是包含我们的软件测试技术、软件测试方法以及我们使用的工具,技术是手段。而流程从测试计划、测试用例、测试的执行、报告,这每个阶段需要有一些进入进出的标准,流产是一个规范性,是对我们软件测试做一个规范的要求。资源就是我们测试所需要的环境当中所需要的各种各样的硬件设备、网络环境,甚至包括我们的测试数据、测试周期、测试的时间,这都是我们的测试资源。
那人是不是资源呢?因为人他的能力千差万别,人正在测试当中往往会担任不同的角色,不能互相替代。在我们经典的软件著作当中,倾向不把人当做资源对待的,我们在软件测试的五大要素当中,也把人从资源中独立开来作为一个重要的要素。
软件测试的目标,大的来说,软件测试的目标是保证软件的质量,具体一点,那其实我们有两大目标,一个是提高我们的测试覆盖率,另一个是提升我们的测试效率。提高测试覆盖率能够有效地保证我们的软件质量,提升我们的测试效率能够让我们更好地完成软件测试。所以软件测试具体到实际的指标上,我们可以定义成提升测试覆盖率和提升测试效率。
那软件测试所以应该遵循的那些具体的原则呢?
第一个原则是,测试显示缺陷的存在,但不能证明系统不存在缺陷。
也就是经过我们的软件测试,我们可以发现软件当中存在的一些故障,但是经过软件测试,我并不能保证这个软件就没有故障。
第二个原则,穷尽测试是不可能的,应设定及时终止的条件。
我们不可能发现软件当中的所有问题,所以我们也不可能对软件进行无穷无尽的测试,测试当中应该及时的设定测试终止的条件。
第三个原则,软件测试应该尽早进行。
我们来看一个软件度量的一个著名的图表:
图中横坐标是软件研发生命周期不同的一个测试阶段,纵坐标是缺陷在不同阶段的一个占比,几条曲线分别代表各个阶段引入的缺陷,然后这个阶段发现的缺陷和在这个阶段修复这个缺陷所要花的成本。那么从这张图上可以看出,缺陷更多的是在我们软件研发的前期引入的,但是修复这个缺陷的成本是随着我们研发周期的推移不断的攀升,越到软件研发的后期,缺陷修复的成本就会越高,所以我们最经济的做法,是尽可能的在我们研发的前期发现缺陷,并且把这些缺陷修复。
第四个原则,缺陷具备群集特性。
也就是说,我们测试当中发现的大部分缺陷和软件运行失败,往往是由少数的软件模块引起的,在一个模块中,如果我们发现了越多的缺陷,往往也意味着这个模块中有越多的缺陷没有被发现。那发现问题多的模块,可能是这个模块的质量越不好。这个和我们软件开发人员的编程水平,经验和习惯等等有很大的关系。所以说软件缺陷具备群集特性,我们要重点关注这些,越是发现问题多的模块,越是我们应该重点关注的对象。
第五个原则,测试的杀虫剂悖论。
就是我们在测试当中,如果采用同样的测试用例,同样的测试方法,多次重复来测试某一个模块,最后就不能够再发现新的缺陷,所以说我们的测试用例和测试方法应该不定期的评审和修改。并且增加不同的测试方法或测试用例,来测试软件和系统的不同部分,从而发现更多的软件缺陷。
第六个原则,测试的二八原则。
我们的测试时间和资源往往是有限的,要找出软件中所有的错误和缺陷是不可能的,所以测试它总是存在风险,那么这时候要遵循一个原则,就是二八原则。就是我们应该把80%的时间和资源用在20%的重点模块上,重点测试这个软件当中20%的重要模块,来达到我们测试的效率和资源配置最佳的一个比例。
第七个原则,测试活动依赖于测试背景。
针对不同的测试背景进行的测试活动应该是不同的,比如说我们电信级的软件可能对性能、大并发量这种的访问会有更高的要求,而我们的金融软件、银行系统相关的一些软件对安全性的要求可能会更高,我们的测试活动往往要依赖于不同的测试场景进行定义和设计。这是我们软件测试所应该遵循的一些基本的原则。