性能指标

【性能测试指标说明】

并发数

PV / PV time * 因数

• 单一场景：所有用户在同一时刻做同一种操作。（一般用于验证程序或数据库的并发能力）
• 复合场景：多个用户对测试系统发起多个请求，请求种类不同。（一般用于总体大规模测试）

系统用户数

系统内注册的用户数，也可能是僵尸用户。

在线用户数

登录系统的用户，可能对系统产生压力的用户，因为有登陆后什么都不做的用户。
并发用户数：真正对系统产生压力的用户，同一时间用户进行了操作。

响应时间

响应时间 = 网络延迟 + 应用程序响应时间

用户点击按钮 -> 手机发出请求 -> 经过运营商网络 -> DNS域名解析 -> 到达机房 -> 经过防火墙 -> 被应用服务器接收 -> 处理用户请求 -> 访问数据库查询 -> 返回HTML结果 -> 手机接收到数据 -> 页面渲染
我们可以把控的：接收用户请求、处理用户请求、访问数据库、（页面渲染）
每秒通过事务数（TPS）

TPS

累计执行次数 / 测试执行秒数

直接反映系统性能的指标，该值越大，说明系统性能表现越好，但每个系统都有TPS上限，它并不随着并发用户的多少而改变。
一般情况下， 及格的 tps = 并发数 / 0.3，也就是响应时间低于300ms。
吞吐量

吞吐量

单位时间内系统处理的请求数量，能直接反应服务器承受的压力水平。

吞吐率

一般指用户在给定时间内从服务器活的的数据量。

思考时间

每个用户进行操作之间的间隔时间，可以更真实的模拟用户操作。 比如在贴吧发帖过快，会被提示：“两次发帖时间的间隔不能小于15秒。”

系统资源

• CPU：一般不允许超过60%。
• CPU Average：每个cpu核上等待的事务数，一般在top里查看，正常情况数值不可以超过cpu的物理核数。
• 内存：只要不是free太少，一般不用在意，重点观察jvm的内存。
• 硬盘IO： 现在的应用读多写少，对于IO需求不高，但是要注意log输出的影响。
• 网络：一般很少出现网卡跑满的情况，一般中间件TFS、Tair的性能测试会遇到
  性能测试分类

【测试类型】

基准测试

反复测试一个场景或者接口的指标，得出一个平均值作为基准。

压力测试

按照预定的场景并发请求某些业务或者功能，测试是否出现并发问题，比如内存泄漏、线程锁、资源竞争、乐观锁等。

极限压力测试

不断的加压，直到系统崩溃，找到系统瓶颈或者不能接收的性能拐点。

稳定性测试

长时间进行压力测试（一般在8小时以上），观察测试时间内系统的出错、性能变化趋势。
稳定性测试需要系统比较稳定的版本，不存在严重的bug。
场景设计以模拟真是用户操作为佳。

失效恢复测试

压力测试期间，人为制造一些故障，例如kill java进程，再启动java进程，查看用户端是否有错误、tps的波动有多大、java进程恢复后tps是否恢复到之前的水平。

现网性能测试

在实际的硬件环境和网络环境中进行测试，测试系统的实际负载能力。