软件性能测试Ⅶ

在场景运行期间查看结果数据的两种方法

1、Vuser日志文件:包含对每个Vuser运行方案的完整跟踪。这些文件位于方案结果目录中(在以独立模式运行Vuser脚本时,这些文件放在Vuser脚本目录中)

2、Controller输出:输出窗口显示有关场景运行的信息,如果方案运行失败,可以在该窗口中查找调试信息

LoadRunner的另外一个重要的部分——Analysis,它不仅能够直观地查看结果数据,还能生成不同格式的性能测试报告,可以直接将Analysis生成的报告提交给客户

Analysis的功能:

“Analysis 图”有助于确定系统性能瓶颈,并可以将多个数据图合并成一个图,对多个图进行比较,从而找出数据之间的联系

“图数据” 视图和“原始数据”视图以电子表格格式显示用于生成图的实际数据。可以将这些数据复制到外部电子表格应用程序,以进行进一步处理

“报告”功能可使用户查看每个图的摘要、HTML 报告或各种性能和活动报告。可以将报告创建成Word文档,它会自动以图形或表格格式总结和显示测试的重要数据

运行完场景,打开Analysis,第一个问题就是性能测试是否通过?Analysis 的 Summary 视图会告诉答案

Analysis报告摘要(Summary)

在Controller中运行完测试场景后,启动Analysis,首先会展现Analysis的Summary页面

软件性能测试Ⅶ_第1张图片
Analysis概要

1、Scenario Name(场景名字)

场景的名字,如果是保存过的场景,那么将会显示场景保存的路径

2、Results in Session(结果文件)

结果文件的名字,显示结果文件的路径

3、Duration(运行时间)

本场景总共运行的时间,如果脚本中有Think Time,这里的运行时间将包含Think Time

软件性能测试Ⅶ_第2张图片
Analysis统计信息

1、Maximum Running Vuser(最大同时运行用户数)

因为LoadRunner有加载时间和延迟时间,这个数字通常比场景中设置的并发用户数小。

2、Total Throughput(bytes)(网络流量)

即场景运行过程中产生的全部网络流量。单位是字节

3、Average Throughput(bytes/second)(网络流率)

即平均网络流率。单位是字节/秒

4、Total Hits(总请求数)

场景运行过程中,发生的HTTP请求总数

5、Average Hits per Second(平均每秒请求数)

即为总请求数除以运行时间的值

6、View HTTP Responses Summary(查看HTTP响应的Summary)

这是一个链接,指向一个页面标记

事务统计

软件性能测试Ⅶ_第3张图片
Analysis事务统计信息

1、Transactions(事务)

上图是所有Transaction的响应时间

2、Minimum

执行此Transaction的最小时间,也就是最快的

3、Average

平均时间,是所有Transaction消耗时间的算术平均值

4、Maximum

执行此Transaction的最大时间,也就是慢慢的

5、Std.Deviation

Std 是单词 standard的缩写,Std.Deviation 即标准方差,方差是描述一组数据偏离其平均值的情况。方差公式如下:

从数据意义上看:

方差值越大,这组数据就越离散,波动性也越强

方差值越小,这组数据就越聚合,波动性也就越小

6、90 Percent

在Controller 运行场景时,并不会显示这个值,因为它是对一些列数据进行计算的结果。是90% Transaction消耗的时间,比如 执行了500次Transaction,90%就是450个Transaction的平均时间,通常这个指标比单纯的平均值更能说明系统问题

7、Pass(通过)

通过的Transaction个数。通过与否的标准由脚本的逻辑控制

8、Fail(失败)

失败的Transaction个数

9、Stop(停止)

如果在执行场景时,用户手工停止了场景的执行,Transaction没有自己的状态,那么就是Stop

HTTP响应统计

Analysis中HTTP响应状态码统计

此图只有Web Vuser才有,它反映了Web Server的处理情况

HTTP返回码为200,是正常状态。在统计图中的Hits(总请求数)为26500个,在此图中,200返回码的Response有26500个,说明HTTP的请求都成功了。Web Server是没有问题的

Analysis标准图

1、Vuser图

2、事务图

3、网页细分图

交叉结果和合并图

使用Analysis可以将同一场景的两个图中的结果合并到一个图中。通过合并,可以依次比较几个不同的度量,以发现他们之间的联系。如:可以制作一个合并图,以已用时间的函数的形式显示网络延迟和正在运行的Vuser的数量

合并图有3种方式

1、叠加(Overlay)

2、平铺(Tile)

3、关联(Correlate)

叠加:共用同一个X轴的两个图的内容。合并图左侧的Y轴显示当前图的值,右侧的Y轴显示已合并图的值。叠加图的数量没有限制。叠加两个图时,这两个图的Y轴分别显示在图的右侧和左侧。覆盖两个以上的图时,Analysis只显示一个Y轴,相应地缩放不同的度量。

平铺:查看在平铺布局(一个位于另一个之上)中共用同一个X轴的两个图的内容。

关联:绘图时区分两个图彼此的Y轴。活动图的Y轴变为合并图的X轴,被合并图的Y轴作为合并的Y轴

生成测试报告

运行场景后,可以查看对系统性能进行汇总的报告。Analysis提供3种格式的报告:HTML格式、Word格式和水晶报表

创建HTML格式报告

使用Analysis可以为方案的运行创建HTML报告,它将为每个打开的图分别创建一个报告和一个摘要报告。摘要报告与Analysis窗口中访问的摘要报告相同。该报告还提供指向特定Excel文件的链接

创建Word格式报告

创建水晶报表:LoadRunner 的水晶报表是一个更为细致的报告,分为一下类别:

活动报告

性能报告

活动报告提供关于虚拟用户和场景运行的信息:包括开始时间、结束时间等详细信息。活动报告又有:“Scenario Execution”(场景执行)、“失败的交易”(Failed Transaction)和“失败的虚拟用户”(Failed Vuser)三种

性能报告可分析每个Transaction(事务)所用的时间,其中有“数据点”、“详细事务”和“事务性能”

高级——数据点报告

使用LoadRunner,可以记录自己的分析数据。可以指示LoadRunner记录外部函数或变量(方案运行期间的“数据点”)的值。LoadRunner 将使用收集的数据创建数据点图和报告

设置数据点时,会将lr_user_data_point 函数(GUI Vuser 的 user_datapoint)包括在Vuser报告中

“数据点”报告是一种性能报告,它列出数据点的名称、值以及记录该值的时间,值将对每个租和Vuser都显示

事务性能摘要(按Vuser)报告

“事务性能摘要(按Vuser)”报告是一种性能报告,显示每个Vuser在方案运行期间执行事务所需的时间。该报告表明事务是否成功,以及每个Vuser的最小、最大和平均时间。当方案具有多种不同类型的Vuser,并且需要具体描述每种类型的性能时,此报告十分有用

你可能感兴趣的:(软件性能测试Ⅶ)