容量预估/性能压测思考

转载请引用：容量预估/性能压测思考

1 背景

       随着业务的快速成长，日访问量越来越高，除了对功能要求很高以外，对性能要求也越来越高。 在实际工作中，我们往往会被一些问题所困扰。

       1）线上服务容量是多少？性能痛点在哪里？ 可伸缩性（resilience）和可靠性（reliability）怎样？预先知道了系统的容量，做到心中有数，才能为最终规划整个运行环境的配置提供有利的依据。

       2）新开发的功能是否满足性能指标？ 重新修改的代码会不会带来性能问题？ 对服务或工具的参数修改是否有效果（如jvm参数，mysql或solr配置等）？ 如果在上线用前就能进行验证，那么不仅能极大降低部署时发生意外的概率，还能为性能优化提供指导。

2 现状

      为尝试解决上述问题，我们在多个项目上进行过性能测试，使用过的方法主要分成三类。

方案	具体方式		优点	缺点
人为模拟请求	自己写代码或者使用简单的工具如httpload等去模拟用户请求进行测试		操作简单，能快速的得到cpu、mem、 load、 qps等极限值。	缺少真实用户交互行为，缺乏真实性
copy线上流量	使用tcpcopy工具实时copy线上流量到某台机器		操作简单，是真实线上请求，且对线上服务压力无影响	需要准备一套跟线上机器配置、依赖一致的独立环境，同时如果是服用线上的环境的话，一些写操作的请求被copy会有问题
线上流量切换	直接用线上的机器和环境，通过调整nginx配置参数，逐渐将要做压测的机器的权重增加，然后观察该机器各个指标性能		真实生产线流量，能把用户行为导向压测服务器，是最为真实的用户行为，能够把一些需要登陆，有用户交互行为的性能真实的反映出来	因为是用生产系统真实流量来模拟压测，无法得出最大值，如果阀值设置有误，也存在一定的风险。此外该性能测试也不能经常进行

3 存在的不足

     尽管我们在性能测试上做过一些尝试，但还远远不够，存在以下不足。

3.1 性能测试指标和标准尚未完全确立

     不同服务测试指标应该不同，相应的标准也不同，例如接入层服务和后端服务指标是不同的。如果我们能为各个服务制定类似如下的标准，以后再进行性能测试就有了参考依据。 随着服务的发展，这些标准也会随之相应改动，要求会越来越严格。

判断指标	不通过的标准
超时概率	大于万分之一
错误概率	大于万分之一
平均响应时间	超过100ms
0.99响应时间	超过200ms
qpm（每分钟处理的请求量）	小于2w
qpm波动范围（标准差）	正负3
cpu使用率	平均每核超过75%
负载（load）	平均每核超过1.5
jvm内存使用率	大于80%
gc平均时间	超过1s
fullgc频率	频率高于半小时一次
...	...

 

3.2 性能测试不够全面

图1 淘宝性能测试曲线（a点：性能期望值；b点：高于期望，系统资源处于临界点；c点：高于期望，拐点；d点：超过负载，系统崩溃）

        根据上述压力变化模型，淘宝网将性能测试分成狭义的4种类型：

       a）性能测试：a点到b点之间的系统性能 

       定义：狭义的性能测试，是指以性能预期目标为前提，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。

       b）负载测试 ：b点的系统性能

       定义：狭义的负载测试，是指对系统不断地增加压力或增加一定压力下的持续时间，直到系统的某项或多项性能指标达到极限，例如某种资源已经达到饱和状态等。

      c）压力测试：b点到d点之间

      定义：狭义的压力测试，是指超过安全负载的情况下，对系统不断施加压力，是通过确定一个系统的瓶颈或不能接收用户请求的性能点，来获得系统能提供的最大服务级别的测试

      d）稳定性测试：a点到b点之间

      定义：狭义的稳定性测试，是指被测试系统在特定硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行一段较长时间，以此检测系统是否稳定，一般稳定性测试时间为n*12小时

      我们现在的性能测试还没有那么全面，比如没有进行长时间的稳定性测试，长时间的测试执行可导致程序发生由于内存泄露引起的失败，揭示程序中的隐含的问题或冲突。

3.3 性能测试手段缺乏

      线上流量切换方法不能经常执行，copy线上流量目前只能将所有（包括读和写）流量拷贝过来，而自己写程序模拟用户请求又缺乏真实性。一种思路是自己实现测试程序将前一天的请求重新跑一遍，其核心在于控制请求频率，使其与之前请求频率曲线一致，从而达到近似模拟的目的。

3.4. 缺少性能测试自动化工具或平台

      例如百度有个性能测试平台，有此平台后，可以方便地进行性能测试。其可以用于指导程序开发，使得在开发过程不仅关注功能，也关注性能，此外，性能测试纳入持续集成，每天出报表，每天都能知道自己服务的处理能力。