测试用例之性能测试用例
测试用例之性能测试用例
注：本文摘自作者正在编写的《Web性能测试实战》一书，曾经在程序员杂志2004年第10期上发表过。
性能测试、压力测试、负载测试、强度测试、稳定性测试、健壮性测试、功能测试、接口测试……,这么多眼花缭乱的测试类型名称，估计很少有人能准确的区分并说出定义来，至于对应的测试用例如何编写和执行，就更不用说了。
如果问测试工程师测试用例如何编写，就象是问程序员如何编写代码得到的答案一样，每个人都会给出不同的编写方法，但实用的测试用例却象优秀的程序一样难以编写。
目前国内，测试工程师却时常要面对“已经延期几倍计划时间的项目”，测试用例如何发挥更大的作用，是一个迫切需要解决的问题。事实上，完全可以把测试用例看成是测试工程师编写的程序：这个“程序”是为了辅助测试工作的进行而开发的，目的是为了发现软件问题，同时“顺便”证明软件功能是否符合要求。
本文针对上面的问题，以设计性能测试用例为示范，讲解在企业实际工作中，如何有效划分测试种类和编写对应的测试用例，使测试工作更加合理、高效率的开展。
1测试种类和阶段
1.1 测试种类
对于测试种类的说法多种多样，最多的能达到30多种测试类型。而实际工作中很多测试是互相包含的。按照企业中实际工作需要，通常主要进行下面几种类型的测试：功能测试、健壮性测试、接口测试、强度测试、压力测试、性能测试、用户界面测试、可靠性测试、安装/反安装测试、文档测试。
下面介绍几种重要的测试种类及其测试的内容：
功能测试：功能测试主要针对产品需求说明书的测试，是验证功能是否否合需求，包括原定功能的检验、是否有冗余功能、遗漏功能。这类测试应由测试员做，这并不意味着程序员在发布前不必检查他们的代码能否工作，他们也需要进行基本功能的测试。
接口测试：程序员对各个模块进行系统联调的测试，包含程序内接口和程序外接口测试。这个测试，在单元测试阶段进行了一部分工作，而大部分都是在集成测试阶段完成的。由开发人员进行。
性能测试：在交替进行负荷和强迫测试时常用的术语。性能测试关注的是系统的整体。它和通常所说的强度、压力/负载测试测试有密切关系。所以压力和强度测试应该与性能测试一同进行。
用户界面测试：对系统的界面进行测试，测试用户界面是否友好、是否方便易用、设计是否合理、位置是否正确等一系列界面问题
安装/反安装测试：安装测试主要检验软件是否可以正确安装，安装文件的各项设置是否有效，安装后能否影响原系统；反安装是逆过程，测试是否删除干净，是否给影响原系统等。
文档测试：主要测试开发过程中针对用户的文档，以需求、用户手册、安装手册等为主，检验文档是否和实际应用存在差别。文档测试不需要编写测试用例。
测试种类的划分不要拘泥于上面的形式，总体来说应该服从于测试策略，可以根据具体工作的特点进行安排，为了工作更容易开展，完全可以把一些测试合在一起进行。在后面的性能测试用例的编写上，充分体现了这一思想。
1.2 测试阶段
和开发过程相对应，测试过程会依次经历单元测试、集成测试、系统测试、验收测试四个主要阶段。对应关系如图1所示：
|
|
图1 开发与测试的“V”型关系
单元测试：单元测试是针对软件设计的最小单位––程序模块甚至代码段进行正确性检验的测试工作，通常由开发人员进行。
集成测试：集成测试是将模块按照设计要求组装起来进行测试，主要目的是发现与接口有关的问题。由于在产品提交到测试部门前，产品开发小组都要进行联合调试，因此在大部分企业中集成测试是由开发人员来完成的。。
系统测试：系统测试是在集成测试通过后进行的，目的是充分运行系统，验证各子系统是否都能正常工作并完成设计的要求。它主要由测试部门进行，是测试部门最大最重要的一个测试，对产品的质量有重大的影响。
验收测试：验收测试以需求阶段的《需求规格说明书》为验收标准，测试时要求模拟实际用户的运行环境。对于实际项目可以和客户共同进行，对于产品来说就是最后一次的系统测试。测试内容为对功能模块的全面测试，尤其要进行文档测试。
尽管测试阶段的划分十分明确，但是在具体的项目和产品的测试中，尤其在执行测试时，会根据实际需要来开展。
1.3 测试种类、阶段和用例的关系
为了便于在实际工作中提高效率，同时方便测试用例的编写和执行，可以把上面提到的各个测试类型与对应的测试用例合并。合并后的测试用例主要有以下几种：
1． 功能测试用例：包含功能测试、健壮性测试、可靠性测试
2． 性能测试用例：包含性能测试、压力测试、强度测试
3． 集成测试用例：包含接口测试、健壮性测试、可靠性测试
4． 安全测试用例：安全测试用例
5． 用户界面测试用例：包含用户界面测试用例、少量功能测试用例
6． 安装/反安装测试用例：安装/反安装测试用例
综合上面的分析，测试种类、测试阶段以及执行人员具体的关系如表1所示。
| 测试阶段 |
测试类型 |
执行者 |
| 单元测试 |
模块功能测试，包含部分接口测试、路径测试 |
开发工程师 |
| 集成测试 |
接口测试、路径测试，含部分功能测试 |
开发工程师（如果测试人员水平较高，可以由测试人员执行） |
| 系统测试 |
功能测试、健壮性测试、性能测试、用户界面测试、安全性测试、压力测试、可靠性测试、安装/反安装测试 |
测试工程师 |
| 验收测试 |
对于实际项目来说基本同上，并包含文档测试；对于软件产品，主要测试相关的技术文档。 |
测试工程师（根据实际需要，可能包含用户） |
表1 测试的种类、阶段和执行人员的关系
总之，测试的种类应该尽量的少，这样每次都可以执行更多的测试内容。例如在进行功能测试的同时，完全可以进行健壮性的测试。（当然如果产品健壮性方面要求较高，就可以把健壮性测试作为独立的测试。）
2性能用例编写方案
性能测试在软件测试中占有重要的地位，而性能测试又关联很多内容。例如压力和强度测试就与性能测试密切相关：针对一个网站进行测试，模拟10到50个用户就是在进行常规性能测试，用户增加到1000乃至上万就变成了压力/负载测试，如果同时对系统进行大量的数据查询操作，就包含了强度测试。
为了便于性能测试工作的实施，这里的性能测试综合了性能、强度、压力、负载等多方面的测试内容，主要包含的内容有：预期性能指标测试、用户并发性能测试、疲劳强度测试、大数据量测试和速度测试、网络、服务器等方面的内容。
性能测试不同的系统有不同的要求，编写方法要根据实际要求进行编写，本文提出一个常见的参考方案，在实际工作中，可以根据需要加入其它例如内存泄露等和性能相关的测试用例。
下面介绍各个部分性能测试用例包含的内容：
2.1预期性能指标测试用例
通常系统在设计前都会提出一些性能指标，这些指标是性能测试要完成的首要工作之一。针对每个指标都要编写多个测试用例来验证是否达到要求，并根据测试结果来改进系统的性能。
这类通常以单用户为主，如果遇到并发用户的情况，可以归到并发用户测试用例中。这类用例通常都是可以通过手工来执行的用例，例如示例中的上传一份文件，期望的性能为2M/S，完全可以手动上传文件，同时用秒表计时。这些内容通常在需求说明书中可以显而易见的查到。不过当看到如支持并发用户300人，就应该放到后面进行。测试结果也是直接记录是否达到要求，如果系统没有达到要求则进行改善。
2.2用户并发性能测试用例
用户并发测试是性能测试的最主要部分，包含了负载测试和压力测试的过程。主要是逐渐增加用户数量来加重系统负担，直到出现不能接收的性能点或者瓶颈。一般要测试正常数量的用户并发和极限数量下用户并发的情况。
并发用户测试主要是对系统的核心功能和重要业务进行测试，要以真实的业务数据作为输入，选择有代表性和关键的业务操作来设计测试用例。主要编写以下两个方面的用例：
核心模块的测试（可以理解为“单元性能测试”）：对核心功能模块进行并发用户测试，测试系统是否能够稳定运行。例如对于互联网的公用邮件系统，每天早上9点左右可能是收发邮件的高峰，这时候上千的用户都要在上班后进入邮件系统，系统这个时候需要接收和发送大量的邮件。所以邮件系统这一功能模块要进行并发测试。通过测试可以知道数据库服务器、操作系统、网络设备等是否能够承受住考验，同时可以对瓶颈进行分析。
表2列出来一些常见的参数(表格中的数据为示例的测试用例和测试结果)，可以根据实际需要进行增加和删除，其中磁盘I/O、数据库相关测试参数要根据实际情况进行选择，因此没有列出。
| 功能 |
在线用户达到高峰时，发送和接收普通邮件正常，保证200个以内用户可以同时访问邮件系统，能够正常发送和接收邮件。 |
|||||||||||
| 目的 |
测试系统200个以内的用户同时在线能否正常发送邮件。 |
|||||||||||
| 方法 |
采用LoadRunner的录制工具录制一个邮件发送过程，然后利用其完成测试，要监视数据库服务器和web服务器的性能。其中发送的邮件为普通的邮件，附件大小不超过1M. |
|||||||||||
| 并发用户数与事务执行情况 |
||||||||||||
| 并发用户数 |
事务平均响应时间 |
事务最大响应时间 |
平均每秒处理事务数 |
事务成功率 |
每秒点击率 |
平均流量（字节/秒） |
||||||
| 100 |
1.344 |
2.078 |
5 |
100% |
102 |
5177 |
||||||
| … |
… |
… |
… |
… |
… |
… |
||||||
| 并发用户数与数据库主机 |
||||||||||||
| 并发用户数 |
CPU利用率 |
MEM利用率 |
磁盘I/O参数 |
DB参数1 |
其它参数 |
|||||||
| 100 |
23％ |
11％ |
… |
… |
… |
|||||||
| … |
|
|
… |
… |
… |
|||||||
| 并发用户数与应用服务器的关系表 |
||||||||||||
| 并发用户数 |
CPU利用率 |
MEM利用率 |
磁盘I/O参数 |
|||||||||
| 100 |
32％ |
27％ |
… |
|||||||||
| … |
… |
… |
… |
|||||||||
表2 核心模块的性能测试用例
在编写这类用例时，要进行综合分析，选出系统中的各个核心模块，分别设计每个模块的测试用例：把模块划分成小的“事务”进行测试，这样在测试分析中便于定位问题究竟出现在哪里。例如邮件系统可以划分成：接收邮件、发送邮件、打开邮件等小的事务进行测试用例的编写，每个操作做为一个用例来执行。
业务组合性能测试（可以理解为“集成性能测试”）：所有的用户不会只使用核心模块，通常每个功能都可能被使用到，所有既要模拟多用户的“相同”操作，又要模拟多用户的不同操作，对多个业务进行组合性能测试。
业务组合测试是更接近用户实际操作系统的测试，因此用例编写要充分考虑实际情况，选择最接近实际的场景进行设计。这里的业务组成单位以不同模块中的“子操作事务”为单位，进行各个模块的不同业务的组合。例如在办公自动化系统中就可以选择“公文模块中的发送公文、电子公告模块中的查看公告信息、网上论坛模块中的上传文件”等事务作为一组组合业务进行测试，用例设计信息如下：
功能：在线用户达到高峰时，用户可以正常使用系统，保证500个以内用户可以同时在线使用系统。
目的：测试系统500个以内的用户同时在线能否使用比较常见的模块：公文系统、电子公告、网上论坛。
方法：采用LoadRunner的录制工具录制三个业务：
业务1––在公文系统内，进行打开、修改等操作；
业务2––在电子公告系统内，查看、发布公告；
业务3––在网上论坛系统内发布帖子，查看文章。每个业务分配一定数目的用户，利用LoadRunner来完成相关参数的测试。
其它部分设计可以参考表2。执行时要分别记录各个事务的执行情况。
多用户并发性能测试是性能测试的核心内容，包含了全部与多用户相关的测试。因此设计时要全面考虑，不要有遗漏。在测试执行时，本部分通常是采用性能测试工具例如LoadRunner来进行测试的，因此更容易执行和提高效率。
2.3疲劳强度与大数据量测试
疲劳强度测试是在系统稳定运行下模拟最大用户数量、并长时间运行系统，通过综合分析执行指标和资源监控来确定系统处理最大业务量时的性能。
疲劳强度测试的目的就是检验系统长时间运行后的性能，因此设计用例时，需要编写不同参数或者负载条件下的多个测试用例，对服务器、软件、网络进行不同条件下的综合测试分析，测试时要记录系统发生故障的信息作为测试结果。疲劳强度测试也是采用测试工具进行的。
大数据量测试分为两种：一个是针对某些系统存储、传输、统计查询等业务进行大数据量的测试；另一个是与前面并发测试相结合的综合数据测试。编写用例时主要编写前一部分，后一部分尽量放在并发测试中。
大数据量测试一般是针对那些对数据库有特殊要求的系统进行测试，例如电信业务系统的手机短信息表，由于有的用户关机或者不在服务区，每秒钟需要有大量的短信息保存，同时在用户联机后还要及时发送，因此对数据库性能有极高的要求，需要专门测试。
本部分用例设计表格可以参考用户并发性能测试部分。
2.4网络性能测试
网络性能测试主要是为了准确展示带宽、延迟、负载和端口的变化是如何影响用户的响应时间的。在实际的软件项目中，主要是测试用户数目与网络带宽的关系。
编写用例的格式如表3(表格中的数据为示例数据)：
| 目的 |
测试系统运行网络在不同并发用户条件下的使用情况 |
|||
| 方法 |
在不同的广域网带宽下（例如256K）使用LoadRunner录制邮件系统的相关事务操作脚本，以不同的并发用户数进行测试，记录各种用户连接数下，不同并发请求的性能变化；同时记录路由器端口的流量和其他数据。 |
|||
| 运行时间 |
10小时 |
|||
| 用户并发数 |
事务平均响应时间 |
服务器端口流量 |
丢报率 |
|
| 100 |
2.816 |
50.2M/S |
0.001% |
|
| 500 |
3.876 |
98.2M/S |
0.002% |
|
| … |
… |
… |
… |
|
表3 网络性能测试
本部分可以独立测试，也可以和用户并发性能测试、疲劳强度与大数据量性能测试结合起来，在原有的基础上采用工具来调整网络设置，从而达到监视网络性能的目的。通常网络性能都是采用工具进行性能评估，由系统集成工程师来进行。
2.5服务器性能测试
本部分的测试用例不必独立编写，或者根据实际需要编写少量的测试用例，建议这部分的用例编写和前两部分结合起来，在用户并发性能测试、疲劳强度与大数据量性能测试时完成对服务器性能的监控，完成对服务器性能的评估。
2.6性能分析基本策略
在上面的用例执行完成后，接下来要进行性能分析。性能分析是性能测试的最终目的，否则测试出的指标就不会有实际意义，这里主要介绍一下性能分析的基本思路。性能分析通常要围绕三个方面进行：软件、服务器、网络。
软件主要是分析具体事务执行时间，尤其并发用户部分，根据测试工具测试出的结果分析那些事务执行的慢，然后可以分析执行较慢的代码，针对网页可以分析具体的页面元素执行情况。
服务器的分析要结合软件的运行情况进行分析，着重分析硬件的执行参数，CPU、硬盘、内存、中断、内存等情况，分析尤其要注意对这些参数进行综合分析，往往各个参数之间会互相影响，最后在调查、分析整体系统的基础上，找出影响服务器整体性能的瓶颈，确定相应的升级需求：
1. 服务器硬盘负载较重，需增加硬盘。
2. CPU整体性能偏低，需增加或更新CPU。
3. 网卡性能偏低，需更换光纤网卡。
4. 硬盘I/O负载任务繁重，需使用高转速硬盘或采用RAID卡。
5. 内存资源短缺，需增大内存。
6. 其他方面，需要升级软件系统、合理进行子网划分、加强管理等。
网络性能分析要结合结合服务器和测试目标软件，通常网络传输慢会有软件和服务器方面的原因，甚至有时候会有客户端方面的原因。不过目前网络的环境普遍可以，不管是局域网还是广域网，网络的环境越来越好。
3用例管理
测试用例的管理我们可以借鉴开发过程中对程序的管理方法，我们可以把测试用例看成程序––测试工程师编写的程序，这个程序也要经过“设计”、“开发”、“测试”、“版本管理”、“发布”、“维护”等一系列操作，然后按照管理软件程序的方法来管理测试用例。
用例管理主要包含评审、修改、执行用例、用例版本维护、用例升级方面的内容。
3.1 用例评审
测试用例评审是测试用例不可缺少的一个环节，这是对“测试部门开发出的产品”进行的“测试”。基本思路是对测试准备阶段的成果进行分期评审，依次评审系统/验收测试用例、集成测试用例、单元测试用例。
评审用例在比较正规的公司更容易实施，要求相应的软件开发团队必须在实际工作中对测试给予足够的重视，才可以把这项工作做好，否则只是走走形式。有效的用例评审通常由下面两种形式组成：
测试部门外部评审––主要是由开发部、项目实施部、甚至销售人员参加的评审，目的主要是查找测试工程师编写的用例是否缺少内容。建议采用非正式评审的形式进行，因为我们很难把开发人员组织在一起，一般来说他们的开发进度压力很大，能够抽出时间看文档已经是“很给面子了”。当然不统一进行评审会耽误工程的进度，所以在实际工作中如果时间紧迫，可以提前启动测试实施工作，待评审完成后进行用例的修改工作。通常测试工作进行一段时间评审就会结束，这个时候测试执行人员可以在工作中对测试用例的内容进行动态的调整，再次执行被修改过的部分用例（如果能够采用正式评审，效果肯定会更好。）。
外部评审主要工作方式是用文档直接记录评审结果，测试人员根据评审结果对用例进行升级修改。
测试部门内部评审––部门内部同行对测试策略的评审，评审的核心内容是测试策略和用例编制思路是否正确，以此来保证测试用例的有效性。可以组织正式的评审，由用例的设计人员进行讲解，然后大家共同评审；也可以把文档发给部门的同事进行评审。内部评审有些象开发人员在单元测试中的交叉测试。
内部评审的主要工作方式是项目会议，大家可以进行激烈的讨论，共同探讨用例编写、交流经验，这样用例的编写水平才能提高，同时可以进行一些创新。
评审方式中的外部评审最为重要。因为开发人员很容易发现用例中遗漏了什么内容，同时还可以发现错误的用例––因为存在对需求理解的偏差。用例外部评审可以理解为开发人员在查找测试人员编写的“程序”缺陷。
通常情况下先执行内部评审，然后执行外部评审。很多时候，内部评审会被忽略，建议要进行内部评审。这样至少有两个好处：集思广益和提高测试小组输出文档的质量。
3.2 管理方案
国内大多数IT公司在测试用例的发展经历了以下几个阶段：
Ø 无用例而执行测试：测试的初级阶段，完全手工测试，测试执行工程中没有测试用例作为执行依据，可能会按照需求进行测试；
Ø 有用例而不使用用例执行测试：已经编写测试用例，但是受各种环境的影响，例如需求变动频繁、编写的用例过于简单等，测试用例编写后在实际工作中不能使用；
Ø 按照部分用例执行测试：随着用例编写水平的提高，部分测试用例可以在测试中发挥作用；
Ø 完全按照用例执行测试：组织建立了规范的项目管理过程，对测试用例进行规范的管理，执行测试用例以用例为准则来执行测试。
完全按照测试用例执行测试是一个公司测试水平的体现，测试用例管理成为这一阶段的主要内容。测试用例管理的核心内容是版本管理。如果测试用例是采用文字编辑软件例如word编写，建议采用工具（例如Visual SourceSafe）对用例进行控制。可以参照图2进行。
| 编写用例 |
| 用例评审 |
| 进入版本控制库 |
| 用例修改 |
| 使用用例&维护&升级 |
图2 测试用例管理示意图
1、 编写用例：测试工程师根据需求分析、概要设计、详细设计等文档编写测试用例。
2、 用例评审：3.1小结说明了用例的评审。原则上用例像程序一样，要经过多次的修改才可以通过，而实际工作中只进行一到两次。
3、 用例修改：评审结束后，需要根据评审意见进行修改，修改后通常不再进行评审。建议在时间和人力资源比较充裕的情况下，对用例的评审要像测试开发部门的产品一样，经过反复的评审和修改，然后正式投入使用，因为每次评审可能都有新的发现。
4、 使用用例：在执行任务时，从版本控制库取出用例，执行时建议直接在用例上记录测试结果。这样做会带来两个好处：首先是下次测试时可以看见上次测试的结果记录，可以起一个提醒的作用；其次可以一次性的把发现的缺陷输入到缺陷跟踪数据库中，在输入时可以进行综合统计，避免输入重复的缺陷。每次使用后送入版本控制库中，进行版本的管理。
5、 用例升级/维护：随着软件产品的不断修改、升级，对应的用例也需要升级和维护。针对同一个项目，可以根据需求的变更不断进行维护；如果是产品，用例的维护则更加重要，要达到用例和产品的版本一一对应。
测试用例的管理还可以采用专门的测试软件例如TestDirector等来进行管理，测试工具通常会具备上面的功能。如果有条件，建议采用集成华的测试工具，这样更容易对测试执行全程进行监控，可以把测试需求、测试用例、缺陷管理统一起来，大大提高测试效率。
在测试用例管理规范化并成为测试的执行准则后，管理测试用例带来的巨大好处开始逐渐显现出来，测试用例成为评估测试和改进测试工作的主要依据，可以给工具带来巨大的方便。例如可以通过测试用例的执行情况来统计分析执行结果，编写测试报告，判断软件测试是否完成，通过统计测试覆盖率、测试合格率、重要测试对象的合格率是多少来完成对软件质量的评估；尤其是新员工到岗后，可以更容易介入工作。
总之，不管是性能测试还是其它测试都要本着“一切从实际出发”的原则，根据不同产品的特性进行用例编写，最后按照要求完成测试，达到提高产品质量的目的。在测试用例的编写过程中，尤其要记得“创新”，如果长期依靠某一测试用例编写模式、采用某些固定的模板，测试用例编写工作肯定会停滞在某一层次上不再发展，一定要跟着测试对象的不断变化来调整策略，在具体的工作中改进和提高，才能“开发”出优秀的测试用例！