性能测试基础知识体系

目录

知识体系

知识体系

基础指标

简单来说,性能测试实际上主要关注如下三点:

  1. 速度:TPS、RT ;
  2. 容量:吞吐量、PV、Hit;
  3. 资源:CPU、Memory、DiskIO、Network、文件句柄数;

性能分层

性能测试领域,要在评估调研阶段就考虑性能分层的影响。在性能分析和优化阶段,也要考虑不同层级对整体性能的影响。我将它们分为如下六层:

  1. 网络层:主要指带宽、网段、防火墙等设施,当然,CND之类的资源,也可以划分在这一领域;
  2. 网关层:网关是请求入口和业务接入层,一般登录验签调用、加解密鉴权、限流等操作,都是在网关进行;
  3. 应用层:无论是前端的渲染展示还是后端的逻辑处理,都可以理解为应用层;
  4. 中间件:中间件包含缓存、MQ、JOB、DTS/DRC/DAL、配置中心等一系列组件;
  5. 存储层:一般指数据存储和文件存储层级,典型的组件有MySQL、HDFS;
  6. 物理层: 无论是云服务还是自建机房,物理硬件层面都可以归纳到这一层;

需求调研

  1. 项目背景:版本迭代&独立项目&新建服务&系统重构&性能优化;
  2. 测试目的:超卖&高并发&扩容性&配置验证&资源耗用;
  1. 系统架构
    • 技术架构:服务间的依赖关系,包含缓存,MQ等信息;
    • 网络拓扑:请求-域名-SLB/HA/Nginx-web-app-DB以及外部依赖;
  1. 场景模型
    • 业务场景:业务场景的多样性和特殊性以及对脚本开发联调&数据预埋的影响;
    • 业务模型:只读、读写、批处理、定时Job;
    • 业务配比:被测场景占总体场景的业务量占比(公式:被测场景/总业务量*100%)
      • 选取业务峰值的数据,单独统计;
      • 如果各业务占比类似,则按照比例转化;
      • 如果比例差距大,则按照区间单独统计分析;
  2. 环境配置:PRE&PERF、app&Redis&MQ&DB&网络&网段&&带宽&防火墙,是否独享资源隔离等;
  1. 性能指标
    • 业务指标:DAU、GMV、注册用户数、在线用户数、活跃用户数、增长趋势等;
    • 系统指标:协议类型、长短链接、同步策略、加解密、JVM内存分配、容器线程数&连接数&Timeout、MQ-Cousumer数量;
    • 压测指标:QPS、TPS、ART、99%RT、Success%;
  1. 数据类型
    • 数据铺底量;
    • 是否有敏感数据需脱敏;
    • 限制条件(时间&次数&权限);
    • 自增、唯一、UUID、加解密、幂等;
  2. 关键时间:提测时间、验收时间、上线时间;

模型场景

  1. 业务模型:业务场景、流量转化漏斗;
  2. 测试模型:关注核心场景,过滤无关及非核心业务;
  3. 场景模型:从系统架构设计层面出发,关注不同层面,提升性能!
    • 基准:单机单服务单接口;
    • 并发:设定阈值,观察水位;
    • 容量:阶梯式加压、性能拐点、资源瓶颈;
    • 异常:容错处理、监控告警、容灾恢复演练;
    • 稳定性:长期稳定正确提供服务的能力,可用性SLA;

测试方案

  1. 项目背景:说明项目开展的背景及目的;
  2. 测试方案:针对项目涉及的场景,测试实施的大体方案;
  3. 实施准则:任何项目,都要有准入准出和暂停中止准则;
  4. 性能模型:针对具体的场景,设计的性能模型最好经过评估验证;
  5. 测试策略:针对测试模型所采用的不同的测试策略,同步的测试策略要达成什么样的目的;
  6. 性能指标:业务指标是多少?转化的技术指标是多少?冗余范围有多大?
  7. 准备工作:其中包含环境、数据、脚本、监控等准备事项;
  8. 组织结构:整个项目中涉及哪些事项?不同事项的负责人是谁?交付时间是什么时候?

结果评估

在性能测试实施过程中,准确定义和描述性能测试结果,及针对不同结果进行模型分析,是很重要的一项能力。

  1. 性能实施方法论
    • 基于指标构建;
    • 建模是分析的过程和结果;
    • 基于真实环境的系统模拟;
    • 压测实施过程是整体的核心;
    • 需要设定统一的目标、流程、分析方法、组织结构;
  1. 正确描述性能结果和过程的术语
    • 瓶颈描述:什么场景执行了什么策略/操作,因为什么原因导致了什么结果
    • 解决方案:优化了哪里?验证的方式及结果?是否满足预期&是否解决了发现的问题?
  1. 性能分析层级
    • 业务分级:业务-场景-数据-架构-参数;
    • 技术分级:引擎-网络-应用-中间件-数据库;
      • 工具:关注指标,从结果反推过程;
      • 配置:线程、连接数、Timeout、长短链接、同步异步、路由转发;
      • 应用:日志、硬件配置、资源使用率;
      • 中间件:Job、缓存命中、消息堆积、Consumer配置;
      • 数据库:资源耗用、库表结构、表锁行锁、活跃连接数、最大连接数;
  1. 性能拐点
    • TPS增长放缓,RT快速上升;
  1. 性能交叉点
    • 模型上的TPS和RT交叉节点;
  1. 性能平衡点
    • 重点关注业务可接受的最大RT;
  1. 性能衰减点
    • timeout参数&TPS急剧恶化抖降&RT快速飙升;

脚本设计

  1. 什么时候需要做脚本关联?
    • 服务端结果动态返回,非幂等;
    • response body的参数需要向下透传;
  1. 如何理解并发和事务的区别?
    • 并发指的是同一时刻服务端接收到的请求数,而非压测引擎的并发线程/RPS;
  1. thinktime怎么用?
    • 它有什么效果?
    • 是否存在真实的业务场景?
    • 是否影响整体的压测场景和服务资源?
  1. 主要关注哪些指标?
    • 并发数、TPS、ART、99%RT、CPU%、Memory%、systemLoad%;

典型特例

  1. 文件存储优化
    • 原理:文件/图片存储在源节点,利用CDN缓存各种变更和路径。CDN未命中,回源节点处理并返回,同时同步最新的变更和路径到CDN。
    • 优点:节省存储成本,提高查询展示渲染性能,灵活满足业务。
    • 注意事项:大文件分块存储,避免局部过热导致单机磁盘IO过载,分块有助于整体系统资源调度。
  1. 秒杀超卖场景

  适用场景:秒杀、限时抢购、限量抢购等。

    • 单用户单端多次抢购;
    • 单用户单端限量抢购;
    • 单用户多端抢购→低并发;
    • 单用户多端抢购→高并发;

性能测试基础知识体系_第1张图片

 

你可能感兴趣的:(自动化测试,自动化,职场和发展,面试)