【系统测试】性能测试总结

本文大量引用自：https://www.cnblogs.com/paulwinflo/p/5681213.html

一、 什么是软件性能

  定义：软件的性能是软件的一种非功能特性，它关注的不是软件是否能够完成特定的功能，而是在完成该功能时展示出来的及时性。

　　由定义可知性能关注的是软件的非功能特性，所以一般来说性能测试介入的时机是在功能测试完成之后。另外，由定义中的及时性可知性能也是一种指标，可以用时间或其它指标来衡量，通常我们会使用某些工具或手段来检测软件的某些指标是否达到了要求，这就是性能测试。

　　性能测试定义：指通过自动化的测试工具模拟多种正常、峰值以及异常负载条件（即大量用户操作）来对系统的各项性能指标进行测试，验证系统能够承受的负载情况，找出潜在的性能问题分析并解决。

二、不同群体眼中的性能

   不同的人由于人生观、世界观、价值观以及教育背景、知识体系、人生阅历的不同，对于同一事物或问题的看法可能不同。对于软件性能也是如此，不同的人由于视角的不同，所关注的点也可能不同。下面来看看在不同的人群眼中性能分别是什么样的。

用户眼中的性能

　

开发眼中的性能

　　

系统管理员眼中的性能

　

测试眼中的性能

　　测试人员通常是做为软件质量控制的一个角色，不仅仅是找bug，需要对整个软件的质量负责，性能也属于质量的一部分，因此测试人员眼中的性能应该是全面的，考虑的东西也需要全面：

   1、测试人员需要考虑全面的性能，包括用户、开发、管理员等各个视角的性能。

   2、测试人员在做性能测试时除开要关注表面的现象如响应时间，也需要关注本质，比如用户看不到的服务器资料利用率，架构设计是否合理？代码是否合理等言方方面面。

三、性能测试流程：

　　（1）业务学习：通过查看文档，手工操作系统了解系统功能
　　（2）需求分析：分析系统非功能需求，圈定性能测试的范围，了解系统性能指标
　　（3）工作评估：工作量分解，评估工作量，计划资源投入（人，工作日）
　　（4）设计模型：把业务模型映射成测试模型 ,当需要交互的另一方系统不存在时，自己开发挡板程序（mock程序）进行替代所需功能测试，保证性能测试工作正常进展，这个过程叫设计测试模型
　　（5）计划编写：在文档中明确列出测试范围，人力投入，持续时间，工作内容，风险评估，风险应对策略等
　　（6）脚本开发：录制或者编写性能测试脚本
　　（7）测试环境准备：服务器和负载机两部分，服务器是被测系统的运行平台，负载机是我们用来产生负载的机器，用来安装负载工具，运行测试脚本。
　　（8）测试数据准备：根据数据模型来准备被测系统的主数据（保证业务能够运行通常的基础）和业务数据，准备存量/历史数据（数据量变引起性能变化）
　　（9）测试执行：性能测试成败关键，同样脚本不同测试人员测出结果差异大（体现在场景设计与测试执行上）
　　（10）性能调优：测试人员和开发人员一起解决性能问题
　　（11）测试报告：性能指标说明（TPS,RT,CPU ,Using），发现的问题
　　性能测试主要交付件：测试计划，测试脚本，测试程序，测试报告或阶段性报告（项目周期长）

四、常用测试工具
JMeter、LoadRunner

五、性能测试类型

基准测试：在给系统施加较低压力时，查看系统的运行状况并记录相关数做为基础参考
负载测试：是指对系统不断地增加压力或增加一定压力下的持续时间，直到系统的某项或多项性能指标达到安全临界值，例如某种资源已经达到饱和状态等 。
压力测试：压力测试是评估系统处于或超过预期负载时系统的运行情况，关注点在于系统在峰值负载或超出最大载荷情况下的处理能力。
稳定性测试：在给系统加载一定业务压力的情况下，使系统运行一段时间，以此检测系统是否稳定。
并发测试：测试多个用户同时访问同一个应用、同一个模块或者数据记录时是否存在死锁或者其他性能问题，

六、性能测试应用场景（领域）　

1、性能测试应用场景（领域）主要有：能力验证、规划能力、性能调优、缺陷发现、性能基准比较，下表简单介绍和对比了这几个场景的各自用途和特点：

	主要用途	典型场景	特点	常用性能测试方法
能力验证	关注在给定的软硬件条件下，系统能否具有预期的能力表现	在要求平均响应时间小于2秒的前提下，如何判断系统是否能够支持50万用户/天的访问量？	a)要求在已确定的环境下运行 b)需要根据典型场景设计测试方案和用例，包括操作序列和并发用户量，需要明确的性能目标。	a)负载测试 b)压力测试 c)稳定性能测试
规划能力	关注如何使系统具有我们要求的性能能力	某某系统计划在一年内获客量在到xxx万，系统到时候是否能支持这么多用户量？如果不能需要如何调整系统的配置？	a) 它是一种探索性的测试 b) 常用于了解系统性能和获得扩展性能的方法	a)负载测试 b)压力测试 c)配置测试
性能调优	主要用于对系统性能进行调优	某某系统上线运行一段时间后响应速度越来越慢，此时应该如何办？	每次只改变一个配置，切忌无休止的调优	a) 并发测试 b)压力测试 c)配置测试
缺陷发现	发现缺陷或问题重现、定位手段 某些缺陷只有在高负载的情况下才能暴露出来，如线程锁、资源竞争或内存泄露。	做为系统测试的补充，用来发现并发问题，或是对系统已经出现的问题进行重现和定位	在要求平均响应时间小于2秒的前提下，如何判断系统是否能够支持50万用户/天的访问量？	a)并发测试 b)压力测试
性能基准比较	常用于敏捷开发过程中，敏捷开发流程的特点是小步快走，快速试错，迭代周期短，需求变化频繁。很难定义完善的性能测试目标，也没有时间在每个迭代开展详细的性能测试，可以通过建立性能基线，通过比较每次迭代中的性能表现变化，判断迭代是否达到了目标。

　　
2、通常在某个性能场景（领域）中需要联合使用多种性能测试方法一起进行性能测试，下表为性能测试应用领域与测试方法关联：

	能力验证	规划能力	性能调优	缺陷发现	性能基准比较
基准测试	√		√
负载测试	√	√	√
压力测试	√	√	√	√	√
并发测试				√	√
稳定性测试	√

七、性能测试基本概念

　　1、响应时间

　　　　a）定义：从用户发送一个请求到用户接收到服务器返回的响应数据这段时间就是响应时间

　　　　b) 关键路径：下图为一次http请求经过的路径，请求会经过网络发送到web服务器进行处理，如果需要操作DB，再由网络转发到数据库进行处理，然后返回值给web服务器，web服务器最后把结果数据通过网络返回给客户端。

　　　　c) 计算方法：Response time = (N1+N2+N3+N4)+ (A1+A2+a3)，即：（网络时间 + 应用程序处理时间）

　　　　d) 响应时间-负载对应关系：

　　　　　图中拐点说明：

　　　　　　1、响应时间突然增加

　　　　　　2、意味着系统的一种或多种资源利用达到的极限

　　　　　　3、通常可以利用拐点来进行性能测试分析与定位

　　2、吞吐量

　　　　a）定义：单位时间内系统处理的客户端请求的数量

　　　　b）计算单位：一般使用请求数／秒做为吞吐量的单位，出可以使用 页面数／秒表表示。

　　　　　　另外，从业务角度来说也可以使用 访问人数 /天 或 页面访问量／天 做为单位。

　　　　c）计算方法：Throughput = (number of requests) / (total time).

　　　　d）吞吐量-负载对应关系：

　　　　　图中拐点说明：

　　　　　　1、吞吐量逐渐达到饱和

　　　　　　2、意味着系统的一种或多种资源利用达到的极限

　　　　　　3、通常可以利用拐点来进行性能测试分析与定位

　　3、并发数：

　　　　并发用户数：某一物理时刻同时向系统提交请求的用户数，提交的请求可能是同一个场景或功能，也可以是不同场景或功能。

　　　　在线用户数：某段时间内访问系统的用户数，这些用户并不一定同时向系统提交请求

　　　　系统用户数：系统注册的总用户数据

　　　　三者之间的关系：系统用户数 >= 在线用户数 >= 并发用户数

　　4、资源利用率

　　　　a) 定义：指的是对不同系统资源的使用程度，通常以占用最大值的百分比来衡量

　　　　b) 通常需要关注的服务器资源如下：

　　　　　　1、CPU：就像人的大脑，主要负责相关事情的判断以及实际处理的机制

　　　　　　2、内存：大脑中的记忆块区，将眼睛，皮肤等收集到的信息记录起来的地方，以供cpu进行判断，但是是临时的，访问速度快，如果关机或断电这里的数据会消失。

　　　　　　3、磁盘IO：大脑中的记忆区块，将重要的数据保存起来（永久保存，关机或断电不会丢失，速度慢），以便将来再次使用这些数据。

　　　　　　4、网络：

　　　　c）资源利用-负载对应关系：

　　　　　图中拐点说明：

　　　　　　1、服务器某荐资源使用逐渐达到饱和

　　　　　　2、通常可以利用拐点来进行性能测试分析与定位

　　5、其它常用概念：

　　　　a) TPS：Transactions Per Second，每秒事务数

　　　　b) 思考时间：用户每个操作后的暂停时间，或者叫操作之间的间隔时间，此时间内是不对服务器产生压力的

　　　　c) 点击数：每秒钟用户向WEB服务器提交的HTTP请求数。这个指标是WEB应用特有的一个指标:WEB应用是”请求-响应”模式,用户发出一次申请,服务器就要处理一次，所以点击是WEB应用能够处理的交易的最小单位。如果把每次点击定义为一个交易，点击率和TPS就是一个概念。容易看出，点击率越大，对服务器的压力越大。点击率只是一个性能参考指标，重要的是分析点击时产生的影响。需要注意的是，这里的点击并非指鼠标的一次单击操作，因为在一次单击操作中，客户端可能向服务器发出多个HTTP请求.

　　　　d）PV：访问一个URL，产生一个PV（Page View，页面访问量），每日每个网站的总PV量是形容一个 网站规模的重要指标。

　　　　　 UV：作为一个独立的用户，访问站点的所有页面均算作一个UV（Unique Visitor，用户访问）