测试工具JMeter的使用

目录

JMeter的安装配置

测试的性能指标

TPS

响应时长

并发连接 和 并发用户

CPU/内存/磁盘/网络 负载

性能测试实战流程

JMeter

JMeter快速上手

GUI模式 运行

HTTP请求默认值

录制网站流量

模拟间隔时间

Cookie管理器

消息数据关联

变量

后置处理器

CSV 数据文件设置

断言

循环控制器

预处理器

命令行模式 运行

dashboard 产生图表


JMeter的安装配置

参考教程

测试工具JMeter详细安装配置教程(保证一次安装成功)_jmeter安装教程-CSDN博客

基本能成功,不能成功自己按报错自行搜索解决办法

测试的性能指标

参考链接

TPS

TPS (transaction per second) 是 服务端 每秒处理请求的数量

TPS 最直观的反映了 系统的处理能力,当然是重要的性能指标之一。

说到 TPS ,和其相关的还有如下这些名词:

  • RPS (request per second) 是 测试工具 每秒发送请求的数量

    RPS 和 TPS 概念不同,前者是每秒发出的请求数量。后者是处理完成的请求数量。

    但是显然,RPS 是决定 TPS 的重要因素。

    TPS 是由 RPS 、网络延迟 、服务端本身的处理速度 这3个因素决定的。

    一个性能表现良好的系统,TPS和RPS几乎是相同的

  • EPS (error per second) 是 服务端 每秒处理出错的数量,也包含在TPS中。

    一个性能表现良好的系统,EPS 应该一直为0

  • TOPS (timeout per second) 是 服务端 每秒处理超时的数量

    超时时间具体是多少,应该由产品需求定义。

    一个性能表现良好的系统,TOPS 应该一直为0

前面说过 TPS 是由 RPS 、网络延迟 、服务端本身的处理速度 这3个因素决定的。

服务端本身的处理速度 就是我们要测试的,测试时,我们要保证的是其他两个因素:RPS 和 网络延迟。

做 性能/压力测试 时, 被测系统和加压系统, 应该在一个带宽网速比较理想的环境中,首先保证网络延迟没有问题。

然后,性能测试工具要测试TPS能否达到 , 主要就是设置每秒发送请求的数量,也就是RPS。

RPS 是由测试工具决定的。

一个压测工具本身的加压性能也很重要。

否则,如果TPS指标比较高,工具本身做不到,就没法测试了。

如果服务端性能无限强,网络无限好,在目前的主流机器上,压测能做到

单进程 Windows系统 2000-5000 RPS, Linux系统下3000-6000 RPS

整机大概在 6000-12000 RPS

定义的一种客户端 里面的行为代码 就决定这种客户端的 RPS

总RPS = 客户端1 RPS * 客户端1数量 + 客户端2 RPS * 客户端2数量 + …

所以,关键看你的客户端行为定义 和 客户端数量定义。

一个性能表现良好的系统,TPS 和 RPS 几乎是相同的。

所以,通常测试指标TPS是多少,工具设置的RPS就是多少。

当然,如果服务端本身的性能不够,TPS自然也会相应的下降。这时,可以相应的提升一下压测工具的RPS

 在测试过程中会产生日志文件,记录每秒 RPS、TPS、EPS、TOPS。

可以对测试数据进行统计作图。

注意:RPS、TPS、TOPS 都不需要我们做什么,工具会自动记录。

但是 EPS,必须要我们自己写代码,对响应数据进行检查,并且告知黑羽压测。

因为工具本身不了解业务逻辑,什么样的因为数据是错误的,工具没法预先知道。

响应时长

响应时长 就是 服务端 处理请求耗费的时间

平均响应时长

平均响应时长 就是 服务端 处理请求的平均耗费时间。

这是影响用户体验的重要指标。设想一下如果 TPS 很高,但是,很多请求要很长时间才得到反应,是什么样的用户体验。。。

在测试过程中会产生日志文件,记录每秒 平均响应时长。

响应时长区段统计

光看平均响应时长,往往是不全面的。

可能 有些请求会耗时特别长,严重影响用户体验。但是被平均了就看不出来。

响应时长不能两极分化。

响应时长区段统计就是查看是否两极分化的衡量指标。

并发连接 和 并发用户

并发连接数 是 服务端 和客户端 建立的 TCP连接的数量

并发用户数 是 服务端 同时服务的 用户的数量 。

用户的一个操作可能引发多个并发连接。

并发连接

通常,并发连接数指标,适用于 测试 面向客户端程序的 API服务系统,比如 云服务。

和 TPS 对系统性能的衡量侧重点不同 ,并发连接数指标 衡量 系统 能 同时处理 客户的能力。

两者的区别 用一个比方 来解释,就像银行服务:

并发连接数,就像有多少个服务窗口

TPS, 就像每个窗口 服务员的处理速度

每个窗口服务员的处理速度即使很快,但是同时来了很多人,也必须开多个窗口,否则就会有人得不到服务。

对 并发连接 指标, 是通过 客户端和性能场景 的定义来 设置的 。

如果,这样定义客户端

client = HttpClient('192.168.2.103',timeout=10) 

while True: 
    response = client.sendAndRecv(
        'GET',
        '/api/path1'
    )
    sleep(60) # 间隔60秒

这样定义性能场景

createClients(
    'client-1', # 客户端名称
    1000,       # 客户端数量
    0.1,     # 启动间隔时间,秒
    )

就会每隔1秒创建10个客户端(同时也建立了10个并发连接),直到并发连接数达到1000。

上面代码中,每个客户端发送请求消息间隔时间是60秒。如果服务端 保持连接的时长小于60秒(比如 Nginx就是通过 keepalive_timeout 50; 这样设置的),就会造成连接 被 服务端主动断开,下次次发送请求要重新进行连接。

Linux下 可以通过 如下命令 查看并发连接的数量

netstat -an | grep ESTABLISHED | grep -w 80 | wc -l

作为客户端,本地可以打开的socket 数量 受操作系统的限制。

我测试过,

在 Windows 10 专业版 16G内存 可以打开6万个并发连接

而在Linux上通过修改 ip_local_port_range 参数,也可以打开 6万个并发连接。

并发用户

通常,并发用户数指标,适用于 测试 面向真实用户的 系统,比如 淘宝。

一个用户的一个操作可能引发多个并发连接

单独说 并发用户数 这个指标没有意义, 必须指定是 哪种性能测试场景 下的并发用户数。

因为用户的操作行为不一样,对服务端的 请求数量 和 并发连接数也不一样。

而且并发用户指标 是 一段时间 内 的,说某个时间点的 并发用户数 也没有意义,因为该点上,很多用户可能没有任何操作。

CPU/内存/磁盘/网络 负载

我们做性能测试时,不能只看 TPS、响应时长 等指标是否达到,也要看被测系统在达到这些指标时,机器本身的负载情况。

所谓负载情况,主要是: CPU占用率, 内存使用,磁盘IO、磁盘使用率。

测试结束后可以产生系统资源使用图。

在性能测试分析时,我们主要关注这两点

  • 是否接近满负荷

如果在达到这些指标时,机器已经处于满负荷状态:CPU使用率 接近 100%, 内存几乎用光,那也是不行的。 因为随时系统可能出问题。

就是说再加点压力,或者再持续一段时间,就很可能出现响应超时甚至响应错误的情况。

  • 是否资源使用持续上升

这点特别体现在 内存使用率 上。

如果系统资源使用图上,内存使用率是一个斜线不断上升,的情况,那么很可能被测系统存在内存泄露。

这样只要再持续一段时间,就很可能出现系统因内存耗尽而奔溃的现象。

出现这样的图表,就应该添加测试用例,做一个较长时间的性能测试(longevity testing),观查系统的行为。

性能测试实战流程

参考教程

JMeter

JMeter快速上手

参考链接:

安装他提供给我的网站:安装运行 | 白月黑羽 (byhy.net)

GUI模式 运行

运行JMeter 有2种运行模式: GUI 图形界面模式 和 CLI 命令行模式

前者是开发调试用的,后者才是真正执行压力测试时用的

现在就是开发阶段,当然先使用 图形界面模式,等调试没有问题,再使用命令行模式

HTTP请求默认值

测试过程中,被测系统换了, 就要换配置的地址, 要手动修改 请求参数,请求取样器多了, 就非常麻烦了。

可以使用HTTP请求默认值 解决这个问题。

录制网站流量

JMeter提供了录制浏览器的请求的方法,使用的是代理抓包的机制。

  • 确保 HTTP请求默认值 里面的服务器IP 和录制的网址一致

    否则录制时,每个HTTP请求里面都会带上IP,还得手工修改删除,不利于统一使用HTTP请求默认值 里面的服务器IP。

  • 在整个测试计划下面添加 HTTP代理服务器

    英文叫 HTTP(S) Test Script Recorder

  • 在 线程组 里面 添加 逻辑控制器 -> 录制控制器

  • 设置HTTP代理服务器

    • 分组 选项 选择: 将每个组放到新的事物控制器中

    • 如果你需要录制时过滤掉一些请求

      点击Request Filtering 配置页,

      排除模式下 添加 你要 过滤掉 不抓取的 的类型资源 ,使用的是正则表达式

    • 点击代理服务器的启动按钮
    • 测试工具JMeter的使用_第1张图片
  • 设置浏览器代理为 本机(localhost) 的 8888端口,进行对应的界面操作

    应该发现抓到了相应的请求。

 其中,配置过程中遇到了JMeter录制不上的情况,按照下面的方法来

jmeter性能测试脚本录制不了的几种情况_jmeter录制脚本不成功_曹红杏的博客-CSDN博客

这个问题前后花了我三四个小时,上述教程我在很前期就见过,也照着做了,但是在查ip的时候我偷懒在浏览器搜的本机ip,查到的是本机对外(公网)的一个ip,但是教程中用的是一个局域网ip,导致就各种尝试都不对,真tm开心。

具体流程如下:

edge浏览器下:设置->搜索“代理”

测试工具JMeter的使用_第2张图片​​​​​​​

测试工具JMeter的使用_第3张图片

注意,浏览器访问要录制的页面要设置成本机ip的方式访问(有坑:外网IP和内网ip的区别-CSDN博客)

测试工具JMeter的使用_第4张图片

基本就可以录制了。

对了要注意 它录制的是一定时间间隔内操作的网络访问所以在录制时,浏览器窗口还是尽可能干净些吧。

此外打开f12,关闭cookie缓存

测试工具JMeter的使用_第5张图片

  • 右键点击 录制线程组 点击 验证 ,查看一下是否能正确模拟

  • 继续其它场景的录制和拖动

  • 结束录制,修改浏览器设置,取消代理

模拟间隔时间

场景1中两组请求中间没有间隔,不符合实际情况。

怎么让它们有间隔呢?

可以使用 JMeter的 定时器 Timer

定时器 执行优先级高于 取样器, 会先暂停, 可以放在下一个消息的前面

也可以使用 取样器 里面的 测试活动 flow control action 取样器

Cookie管理器

假设现在有一个性能测试用例,要求:

用户数量 1200 个, 

账号为 sz_000001 ~ sz_001200, 密码都是 111111

在10分钟依次进行如下操作 :

  打开登录页,进行登录后,进入首页

如果你还用前面录制的方式,录制后,验证一下,就可以发现:

有些后续的API请求返回的结果是错误,返回信息表示,没有登录。

即使前面 发送的登录请求返回表示成功了。 为什么呢?

这是因为 这个被测系统 使用的 用户验证机制是 Cookie Session机制

这就需要 让JMeter自动把接收到的 HTTP 响应消息中的 Cookie 保存起来,并且在后续发给该网站的请求中自动携带上, 可以在测试计划节点下面添加一个 HTTP Cookie管理器

测试工具JMeter的使用_第6张图片

效果

测试工具JMeter的使用_第7张图片

消息数据关联

做API接口性能测试的时候,后面的请求参数 往往 需要 根据前面的请求结果 来决定。

这样,测试工具填入的数据就是动态的,没法预先写死。

比如前面的测试场景,后续还需要做如下操作:

用户登录后,打开 学习中心 -> 我的任务 页面,查看前2个任务。

这样,就要获取前2个任务的id, 因为每个学员 任务分配 的id都是不一样的。

JMeter 需要 从 前面 列出任务的 HTTP API响应结果 里面提取出 ID, 供后面的请求使用。

如何做到呢?

这就要使用 后置处理器 和 变量 。

JMeter 通过 后置处理器 取出 取样器响应结果中 要提出取出来的数据, 存入变量,后续请求使用这些变量。

变量

JMeter中,使用变量,是通过 ${变量名} 这样的格式

变量可以用户自己定义产生,也可以由前置处理器、后置处理器 等 JMeter 元件产生。

有的是JMeter内置变量,比如表示当前线程号的变量 __threadNum ,就可以这样使用 ${__threadNum}

后置处理器

后置处理器通常用于对 取样器 结果进行后续处理。

后置处理器 的有效范围是 同级所有取样器,如果只要针对某个取样器,应该添加在它下面

常用的一个后置处理器是 JSON提取器 , 可以把 HTTP响应消息中的数据提取到变量中,供后续使用

说明文档:https://jmeter.apache.org/usermanual/component_reference.html#JSON_Extractor

测试网页: http://jsonpath.herokuapp.com

具体操作纪律:

打开录制功能,分别录制下面的 动作

测试工具JMeter的使用_第8张图片

分别点击下面两个按钮

测试工具JMeter的使用_第9张图片

测试工具JMeter的使用_第10张图片

这些操作尽可能快的做完,录制上,然后点击自己录制的结果,翻阅一下,把链接不是来自192.168.172.1的那些请求删掉(可能是浏览器本身在刷新访问其他页面,含有一些隐形的操作也被录了进来)

然后把这批请求组成的事务拖动到含有登录操作的线程组下面,阅读接口 手册(或者自己简单翻阅一下或者网页查看f12),找到单击动作得到的id值对应的请求链接(上面那张截图的两个“我的任务”的访问需要这个id),然后给这个请求“/api/assignment-391”添加后置处理器->Josn提取器。

测试工具JMeter的使用_第11张图片

提取器的设置如下

测试工具JMeter的使用_第12张图片

然后将上面JSON提取器设置的变量给需要引用他的页面引用一下

测试工具JMeter的使用_第13张图片

然后 验证一下有没有成功,下图可见传参成功

测试工具JMeter的使用_第14张图片

HTTP响应中有UTF8编码的中文显示为乱码,可以再设置一个 BeanShell PostProcessor 类型的后置处理器,并且在 Script 中增加 prev.setDataEncoding("UTF-8");

CSV 数据文件设置

有时候,性能测试有大量的数据 需要从 CSV 格式的文件读入使用。

CSV格式的文件,其实就是文本文件,里面记录了性能测试数据,比如

sz_000001,111111
sz_000002,111111
sz_000003,111111

这时,可以在某个 线程组下面 添加 CSV data set config(CSV 数据文件设置) 元件

CSV 数据文件设置可以为每列设置一个变量名,比如上例就是 loginname,password

JMeter会把 每行数据依次分配给一个线程。

这样,每个线程里面的元件 就可以使用 这些变量 ,得到对应的数据。

具体使用 点击这里参考官方文档

得到csv文件的方式 :上面的三行数据拷贝放到一个空的data.txt文件中,然后改后缀为csv

设置如下,可见又设置了两个变量

测试工具JMeter的使用_第15张图片

引用两个变量

测试工具JMeter的使用_第16张图片

断言

利用JMeter断言, 可以判定 从被测系统 收到的响应消息是否正确。

断言的有效范围是 同级所有取样器,如果只要针对某个取样器,应该添加在它下面。

例如,可以判断响应是否包含某些特定文本、数据。

甚至可以使用 Groovy、 BeanShell 这样的脚本语言做 更加灵活的断言判定。

比如下面使用 JSR223 断言 脚本,可以检查JSON格式消息体响应中的total字段值是否小于10

import groovy.json.JsonSlurper

def jsonSlurper = new JsonSlurper();
def retObj = jsonSlurper.parseText(prev.getResponseDataAsString());


if(retObj.total < 10){
  AssertionResult.setFailureMessage("retObj.total <10");
  AssertionResult.setFailure(true);
}

测试工具JMeter的使用_第17张图片
测试工具JMeter的使用_第18张图片
测试工具JMeter的使用_第19张图片

测试工具JMeter的使用_第20张图片

循环控制器

线程组可以整体循环, 但是如果你只想循环 线程组其中的一部分操作呢?

比如:

用户登录一次, 后续操作循环10次,每次间隔20秒 可以使用循环控制器。

循环控制器 内部的元件有时 需要用到 当前循环序号 。

JMeter 的当前循环序号放到变量 __jm__<循环控制器名称>__idx 中。

比如你的 循环控制器 名为 LC, 你就可以通过 ${__jm__LC__idx} 访问到 当前循环序号。

测试工具JMeter的使用_第21张图片

预处理器

预处理器 在取样器请求 发出前执行一些操作

用的比较多的是:设置一些参数、修改取样器的设置、脚本预处理

有效范围是同级所有取样器,如果只要针对某个取样器,应该添加在它下面。

常用的有 用户参数、HTML链接解析器、JSR223/BeanShell 等前置处理器

比如,下面JSR223前置处理器的代码可以把一个 当前循环序号变量值进行预先处理 加1。

long number = Long.parseLong(vars.get('__jm__LC1__idx'))
number = number + 1;
vars.put('loopno',String.valueOf(number))
// OUT.println vars.get('loopno')

测试工具JMeter的使用_第22张图片

测试工具JMeter的使用_第23张图片

命令行模式 运行

真正实施性能测试应该在命令行模式下运行,命令格式如下:

E:\apache-jmeter-5.6.2\bin\jmeter -n -t loadtest-case1.jmx -l log.jtl

注意JMeter的路径替换为你的安装路径

假设 我们有如下的性能测试用例


只有一种用户行为:

无需登录,先访问首页,再访问  单课页 ,再访问 新闻页
访问页面间隔 10 秒

用户数量 1200 个,在10分钟依次上线

dashboard 产生图表

E:\apache-jmeter-5.6.2\bin\jmeter -g log.jtl -o report1

就会产生report1目录,里面的index.html 打开就是报告

注意 -o 后面的目录 一定要不存在,或者内容为空,否则会报错。

其中 APDEX (Application Performance Index) 里面的 T (Toleration threshold) 和 F (Frustration threshold) 可以通过 JMeter 工具 bin 目录下面的 user.properties 配置文件里面 这两个选项来设置

jmeter.reportgenerator.apdex_satisfied_threshold
jmeter.reportgenerator.apdex_tolerated_threshold

我的一些结果

测试工具JMeter的使用_第24张图片

测试工具JMeter的使用_第25张图片

我本机结果比较抽风,领会精神吧

测试工具JMeter的使用_第26张图片

测试工具JMeter的使用_第27张图片

测试工具JMeter的使用_第28张图片

测试工具JMeter的使用_第29张图片

你可能感兴趣的:(测试工具,jmeter)