xx电力工作计划管理系统
系统测试总结
评审核准单
时间 |
作者 |
工作内容 |
版本 |
确认人 |
确认时间 |
2007/11/6 |
姜全尧 |
创建延边电力工作计划管理系统测试总结 |
1.0 |
||
目 录
1.简介... 4
1.1目的... 4
1.2范围... 4
1.3定义、首字母缩略词和缩略语.. 5
1.4参考资料... 5
1.5概述... 5
2.测试结果摘要... 5
3.资源... 6
3.1物资资源... 6
3.2人力资源... 7
4.基于需求的测试覆盖... 7
4.1软件集成测试阶段... 7
4.1.1业务周期测试... 7
4.1.2用户界面测试... 8
4.1.3功能测试... 8
4.2系统集成测试阶段... 8
4.2.1性能测试... 8
4.2.2容量测试... 8
4.2.3安全性和访问控制测试... 8
4.2.4故障转移和恢复测试.. 9
4.2.5可靠性测试.. 9
4.2.6配置测试... 10
4.2.7易用性测试.. 10
5.测试结果... 10
6.风险管理... 11
附件清单... 11
延边电力工作计划管理系统测试总结
2007年9月13日至2007年11月6日,质量保证部负责对延边电力工作计划管理系统进行了系统综合测试。根据实际测试结果制定该测试报告。
报告主要介绍了延边电力计划管理系统软件集成阶段、系统集成阶段、验收测试阶段的测试过程和测试结果,通过对测试过程的检查和对测试结果的分析,达到对该系统更深的认识,以及对系统开发过程中问题的确认的目的,从而使得我们今后的测试更加有效率,有质量,更加规范。
工作计划管理系统测试总结目的在于:
1.统计测试过程中投入的人力和物力资源并进行价值评估
2.确定测试过程中存在的问题和风险
3.评估测试对象和测试流程的质量
4.建立问题解决方案和风险管理计划
5.提交测试结束标准和测试结果
工作计划管理测试总结报告主要包括系统软件集成测试、系统集成测试、验收测试三大阶段的测试结果。其具体范围包括:
1.软件集成测试
a.功能测试
b.界面测试
c.数据库完整性测试
d.业务周期测试
2.系统集成测试
a.系统安全性测试
b.系统性能测试
c.稳定性测试
d.故障转移和恢复性测试
e.配置测试
3.验收测试
a.正式验收测试
b.Alpha验收测试
c.Beta验收测试
※注:Alpha验收和Beta验收均由最终用户组织执行
Alpha:一种测试阶段的代号,由用户在开发者的场所进行,并且在开发者对用户的 指导下进行测试。
Beta:一种测试阶段的代号,由软件的最终用户们在一个或者多个客户场所进行。
MITF:软件的平均无故障时间
Et:测试之前程序中错误总数
It:程序长度
t:测试时间
Ed(t):在0到t期间发现的错误总数
Ec(t):在0到t期间改正的错误总数
K:常数,K=200
下面列出了编写该文档的所有参考资料,如表1-1:
序号 |
标题 |
创建日期 |
发布组织 |
1 |
070002-iBPMS软件集成测试规格说明书 |
2007.08.22 |
软件质量保证部 |
2 |
070002-iBPMS系统集成测试规格说明书 |
2007.08.02 |
软件质量保证部 |
3 |
070002-iBPMS软件集成测试用例 |
2007.09.10 |
软件质量保证部 |
4 |
070002-iBPMS系统集成测试用例 |
2007.08.07 |
软件质量保证部 |
5 |
070002-iBPMS0913版本测试小结 |
2007.09.21 |
软件质量保证部 |
6 |
070002-iBPMS0921版本测试小结 |
2007.09.27 |
软件质量保证部 |
7 |
070002-iBPMS 0927版本测试小结 |
2007.09.30 |
软件质量保证部 |
8 |
070002-iBPMS 1008版本测试小结 |
2007.10.16 |
软件质量保证部 |
9 |
070002-iBPMS 1017版本测试小结 |
2007.10.22 |
软件质量保证部 |
10 |
070002-iBPMS 1022版本测试小结 |
2007.10.24 |
软件质量保证部 |
11 |
070002-iBPMS 1024版本测试小结 |
2007.10.31 |
软件质量保证部 |
12 |
070002-iBPMS 1031版本测试小结 |
2007.11.05 |
软件质量保证部 |
13 |
070002-iBPMS1105版本测试小结 |
2007.11.06 |
软件质量保证部 |
14 |
070002-iBPMS系统需求分析 |
2007.03.01 |
应用部 |
15 |
070002-iBPMS概要设计文档 |
2007.07.25 |
应用部 |
16 |
070002-iBPMS界面测试用例 |
2007.09.15 |
软件质量保证部 |
表1-1
了解了本文的目的、范围等,下面开始介绍文档的其他内容。以下主要对各个测试阶段所进行的测试策略、测试类型、测试结果进行详细的分类说明。
按优先权进行分类,得出以下列表:
序号 |
优先权 |
BUG数 |
1 |
特急 |
0 |
2 |
加急 |
0 |
3 |
高 |
0 |
表2-1
按严重级别进行分类,得出以下列表:
序号 |
严重级别 |
BUG数 |
1 |
严重错误 |
0 |
2 |
系统崩溃 |
0 |
3 |
系统死锁 |
0 |
表2-2
依据《iBPMS软件集成测试用例》、《iBPMS系统集成测试用例》,分别对其用户文档、功能性、可靠性、可维护性、易用性、可移植性和中文特性七个方面进行了测试,测试结果表明:
1.用户文档:提供的用户手册内容完整,所有信息基本正确,与软件实际运行情况相符,用户文档易理解、易浏览;
2.可靠性:在整个测试过程中,系统运行成熟,具有一定的容错性,易恢复,实现了数据校验功能;
3.易用性:系统各种信息比较易理解、易浏览;基本支持标准的鼠标、键盘操作,软件操作比较简便;
4.可维护性:在整个测试过程中,系统运行稳定,实现了对软件运行错误、缺陷或失效原因的判断,可以对出现的缺陷或失效现象给出分析性提示;
5.可移植性:系统可适应不同的规定环境,可以在不同的操作系统(Windows 2000 Server、Windows XP)下运行;
6.中文特性:系统中文显示正常,文档符合中文使用习惯;
“延边电力工作计划管理系统”满足了《工作计划管理系统需求说明书》中规定的要求,系统在模拟使用环境中运行稳定,可以通过软件质量保证部的验收测试。
软件环境:
终端类别 |
操作系统 |
相关软件 |
应用服务器 |
windowsXP sp2 |
Weblogic 8.1.3 |
数据库服务器 |
windowsXP sp2 |
Oracle9.0 |
客户端 |
windowsXP sp2 |
IE6.0 |
表3-1
硬件环境:
机器名 |
终端类别 |
机器IP |
配置说明 |
Hongliang_jiang |
服务器端 |
192.168.0.137 |
P4 2.8GHz/1G/160G |
客户端 |
192.168.0.137 |
P4 2.8GHz/1G/160G |
|
Quanyao_jiang |
客户端 |
192.168.0.135 |
P4 2.8GHz/1G/160G |
服务器端 |
192.168.0.135 |
P4 2.8GHz/1G/160G |
表3-2
网络环境:
网络类型 |
带宽 |
以太网 |
100M |
表3-3
※注:应用服务器与数据库服务器必须是同一机器
角色 |
所使用的资源 |
具体职责和注释 |
测试经理 |
1(王宝平) |
进行管理监督 职责: 提供技术指导 获取适当资源 |
测试系统管理员 |
2(姜全尧、姜洪亮) |
确保测试环境和资产得到管理和维护 职责: 管理测试系统 |
测试设计员 |
2(姜全尧、姜洪亮) |
确定测试用例、确定测试用例的优先级并实施测试用例 职责: 生成测试计划 设计测试用例 评估测试 |
执行测试员 |
2(姜全尧、姜洪亮) |
执行测试 职责: 执行测试用例 记录结果 |
鉴于本系统存在模块“定期工作计划“具有业务周期需求,对该处进行业务周期测试。
测试需求 |
测试结果 |
系统指定“每天“,即每天启动工作流 |
通过 |
系统在指定的“星期“启动工作流 |
通过 |
系统在指定的“月份“启动工作流 |
通过 |
系统在指定“季度“的”某季“启动工作流 |
通过 |
系统在指定的每年的“日期“启动工作流 |
通过 |
表4-1
测试需求 |
测试结果 |
图标基调颜色、大小、布局协调 |
通过 |
只读模式下,域提示的颜色正确 |
通过 |
屏幕中提示的字体正确 |
通过 |
域中的控件排列美观 |
通过 |
按钮的大小与界面的大小和空间协调 |
通过 |
屏幕窗口可恢复大小 |
通过 |
每个域中确认出现问题时有恰当的提示信息 |
通过 |
同时打开相同应用窗口的数符合要求,不重叠 |
通过 |
各项提示信息字体一致 |
通过 |
界面友好 |
通过 |
界面容易操作,易用性好 |
通过 |
信息提示,帮助文档符合中文使用习惯 |
通过 |
表4-2
测试需求 |
测试结果 |
完成测试用例的100% |
通过 |
根据用户文档列出所有功能点,检验其正确性 |
通过 |
验证程序与产品描述、用户文档中的全部说明相对应,一致性 |
通过 |
表4-3
计划变更,容量测试未实施。
计划变更,容量测试未实施。
测试需求 |
测试结果 |
用户角色分类 |
通过 |
对非法访问有识别和屏蔽功能 |
通过 |
提供客户端用户身份识别 |
通过 |
提供用户功能权限管理 |
通过 |
提供用户数据访问权限管理 |
通过 |
授权(功能授权、数据授权)机制是否灵活安全 |
通过 |
身份验证不成功有次数限制及相应处理措施 |
通过 |
用户名称应具有唯一性 |
通过 |
用户在被删除或被停用后,保留该用户记录,新增用户不得与该用户同名 |
通过 |
用例100%执行 |
通过 |
表4-4
测试需求 |
测试结果 |
提供手动数据备份 |
通过 |
备份数据可恢复 |
通过 |
恢复数据可正常使用 |
通过 |
服务中断工作流备份处理 |
通过 |
网络中断工作流备份处理 |
通过 |
电源中断工作流备份处理 |
通过 |
服务恢复工作流正常运行 |
通过 |
表4-5
平均无故障时间的计算:
It=79000*5=395000条指令
Ed(t)=5
Ec(t)=5
Et=380
t=48h
MTIF=1/(K(Et/It-Ec(t)/It))=5.1h
测试需求 |
测试结果 |
平均无故障时间不得小于168小时 |
不能满足 |
使用的容量达到规定的极限时,系统不崩溃、不异常退出也不丢失数据 |
通过 |
试图使用的容量超出规定极限时,系统不崩溃、不异常退出也不丢失数据 |
通过 |
产品描述中列出的其他程序或用户造成的错误输入时,系统不崩溃也不丢失数据 |
通过 |
输入用户文档中明确规定的非法指令时,系统不崩溃也不丢失数据 |
通过 |
不会因掉电、异常退出、网络异常中断等原因而使软件或数据遭到破坏 |
通过 |
表4-6
测试需求 |
测试结果 |
windowsXP运行正常 |
通过 |
无其他软件与系统冲突 |
通过 |
表4-7
测试需求 |
测试结果 |
通过选择适当的术语、图形表示、背景信息和帮助,帮助用户理解、使用 |
通过 |
出错消息中提供差错产生的原因和纠正的详细信息 |
通过 |
具有必要的信息,指导用户使用程序 |
通过 |
输入、输出设计规矩,输出结果应简洁、直观、美观、方便阅读、易懂和使用 |
通过 |
人机界面简洁、美观、实用,风格相对一致,符合办公习惯 |
通过 |
在界面、人机交互、输出中的用语应与业务用语一致 |
通过 |
具有严重后果的功能执行可逆,或者给出明显警告,执行前要求确认 |
通过 |
软件操作简便,系统支持标准的鼠标、键盘操作,支持鼠标的单击、双击和右键操作,支持快捷键操作 |
通过 |
提供辅助输入手段(如选择输入、默认值等),数据检索方便、灵活 |
通过 |
安装参数应当给出默认值或提示,需要用户干预的地方应尽量少,操作方便 |
通过 |
根据用户熟练程度(外行、初学、熟练)和使用频度,能提供不同的操作方式或用户界面 |
通过 |
表4-8
具体测试结果均写在了各版本小结中,详细请查阅。下图显示的是整体BUG走向图。
图5-1
通过对版本小结和测试用例的检查,实际的测试结果与预期的测试结果存在着一些偏差,在1.00.0.1022版本中BUG数呈现上升趋势,分析其根本原因是由于工作流不稳定导致的,在后几版中也证明了这一点,但最后版本中问题已得到解决。
截止到2007年11月6日,测试用例覆盖率100%,并且剩余问题也完全符合《绩效软件集成测试规格书》和《绩效系统集成测试规格书》中规定的小于5%,无严重错误,系统崩溃的指标。
注意事项:
《绩效管理系统》是由两部门共同完成,底层工作流与程序接口实际可以分为两部分,导致实际的BUG数385(个)与预计的280(个)出现较大误差。虽然对软件质量未造成影响,但在以后的测试过程中应引起注意。
预测风险 |
对项目的影响 |
解决方案 |
执行结果 |
开发单位未按时完成既定工作 |
延误测试开始工作 |
上级领导介入 |
未发生 |
人员变动 |
影响测试进度 |
至少2人跟踪项目 |
未发生 |
测试工具使用不熟练 |
影响测试准确度 |
前期培训或更换工具 |
未发生 |
与开发人员的沟通出现问题 |
影响测试效率 |
培养员工的团队精神 |
未发生 |
测试所需硬资源不到位 |
无法进行测试 |
提前做好准备 |
未发生 |
序号 |
标题 |
发布组织 |
1 |
iBPMS软件集成测试用例 |
软件质量保证部 |
2 |
iBPMS系统集成测试用例 |
软件质量保证部 |
3 |
iBPMS0913版本测试小结 |
软件质量保证部 |
4 |
iBPMS0921版本测试小结 |
软件质量保证部 |
5 |
iBPMS 0927版本测试小结 |
软件质量保证部 |
6 |
iBPMS 1008版本测试小结 |
软件质量保证部 |
7 |
iBPMS 1017版本测试小结 |
软件质量保证部 |
8 |
iBPMS 1022版本测试小结 |
软件质量保证部 |
9 |
iBPMS 1024版本测试小结 |
软件质量保证部 |
10 |
iBPMS 1031版本测试小结 |
软件质量保证部 |
11 |
iBPMS1105版本测试小结 |
软件质量保证部 |
表5-1