性能测试相关工具及规范

压力测试工具

  • jmeter
  • Gatling

测试指标

  • 吞吐(qps)
  • .avg响应时间及.99(.999)响应时间
  • 失败率
  • 超时率
  • 性能瓶颈(using stack analysis)
  • 系统资源占用(cpu, mem, 线程数, io, net, lsof, netstat, etc.)
  • 数据下载时间
  • 服务启动时间

指标确定

  • 新增接口:pv预估with pm, 一般要求.99在1s内
  • 改动接口: 一般不应差于线上

测试内容

  • 服务启动时间测试
    • 服务从启动到可正常服务的时间(多少分钟多少秒)
  • 接口测试
  • 负载测试(load testing)
    • 在不同负载下的性能情况, 判断能否达到预期指标
  • 系统瓶颈测试
    • 在服务性能范围之外高并发打压测试服务, 取stack, 分析系统瓶颈, 并判断是否可改进
  • 最大性能测试(stress testing)
    • 给出瓶颈项在一定指标下, 系统的最大性能,以及压力增大时可能的解决方案(如瓶颈为cpu, 则可给出load在小于cpu核数时的性能情况, 解决方案即为换用cpu更强【核数多或处理能力强】的机器或负载均衡)
  • 依赖项测试(假设A依赖B)
    • 强弱依赖关系测试
    • B异常(超时, 接口exception等异常)时A是否能合理处理
    • B异常时打压A, A的性能(线程数、连接数)是否合理, 原则: 尽量少的影响用户功能, 尽大可能的保证服务内部正常
  • 异常测试
    • 可用access log作为query进行该测试
    • 对服务进行打压, 找出日志中所有的exception
    • 统计, 分析各种exception是否正常, 与开发沟通
    • 分析测试服务access log中服务器状态异常的用户请求, 与开发沟通, 并应尽量避免500, 503等错误(老接口可用线上access log作为query进行该测试)
  • 稳定性测试
    • 模拟线上情况(各接口的比例)
      • cpu占用及load
      • gc情况
      • 线程数
      • io
      • net
      • 判断是否有定时任务的影响
    • 内存使用测试
      • 取jmap -dump:file=mem.dump , 再用mat分析其中top10(或topN)的对象,判断其数量及大小是否合理

检查

  • db索引检查
  • 连接池线程池的检查
  • 代码严重静态bug检查, husdon + findbugs
  • 代码质量:单元测试通过率及覆盖率、代码重复率、注释率等

注意事项

  • 不对线上服务打压力(注意依赖关系)
  • 测试环境与线上环境的一致性
    • 物理环境
    • 数据量(mysql, index, etc.)
    • 熟悉代码及功能,保证代码分支的覆盖程度

工具

  • vmstat
    • vmstat reports information about processes, memory, paging, block IO, traps, and cpu activity.
  • jstack
    • 分析java进程各线程的状态
  • stackAnalysis
  • 未发布到github, 敬请期待
  • pstack
    • 分析进程各线程状态,对任何pid均可使用
  • strace
    • 查看分析系统调用
  • jstat
    • java进程统计性的监控工具(包括gc情况)
  • jconsole
    • 观察java进程内存、cpu等的详细使用情况
  • visualvm
    • 更NB的jconsole+jstat
  • stress
    • 对机器的虚拟压力使用工具(如占用多少内存多少cpu多长时间)
    • 见love39: /disk1/xjyin/tools/
  • gcviewer
    • 分析gclog
  • jmap
    • 分析java进程内存
  • jhat
    • 分析java进程内存: 会有详细的结果
  • mat若在机群上可以配合vnc使用
    • 更NB的jhat, 一般用于内存泄露等对内存较为详细的分析

你可能感兴趣的:(性能测试相关工具及规范)