本文我们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。
InfluxDB是一个年轻的时序数据库,是用同样很年轻的语言“GO”开发出来的。小数据量的时候还性能还不错,但是数据量大一点,性能问题就体现出来了。不过只是收集一下我几个小时测试的数据,还是足够了。要是几个月的测试数据那还是挑别的数据库吧。
Grafana是纯粹用js编写出来的,专门用来展示数据用的。
基本上,就是Jmeter通过“Backend Listener”,将测试的数据上传到我的虚拟机上,通过InfluxDB来存储,Grafana来展示出来。我们访问web,稍微配置一下,就可以看到展示的数据了。
我的InfluxDB和Grafana都是部署在一台Linux虚拟机下面的。
一、JMeter&InfluxDB集成
1、InfluxDB安装
1.1、安装要求
网络端口
InfluxDB默认使用以下网络端口:
TCP端口8086用于通过InfluxDB的HTTP API进行客户端-服务器通信
TCP端口8088用于RPC服务以进行备份和还原
除了上面的端口,InfluxDB还提供了多个可能需要自定义端口的插件。可以通过配置文件修改所有端口映射,配置文件位于/etc/influxdb/influxdb.conf默认位置。
网络时间协议(NTP)
InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议(NTP)同步主机之间的时间; 如果主机的时钟与NTP不同步,写入InfluxDB的数据的时间戳可能不准确。
2、下载安装
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm
sudo yum localinstall influxdb-1.6.2.x86_64.rpm
1
2
3、InfluxDB配置
找到InfluxDB配置文件(/etc/influxdb/influxdb.conf)
vi /etc/influxdb/influxdb.conf
1
influxdb.conf中的大多数设置都被注释掉了;所有注释掉的设置将确定为内部默认值。如果配置文件中的任何未注释的设置都会覆盖内部默认值。
请注意,本地配置文件不需要包含每个配置设置。
如果你无法找到配置文件,可以使用InfluxDB显示配置命令
Influxd config
1
Jmeter使用graphite协议去写入数据到InfluxDB,因此,需要在InfluxDB配置文件启用它,如下图所示:
[[graphite]]
enabled = true
bind-address = ":2003"
database = "jmeter"
retention-policy = ""
protocol = "tcp"
batch-size = 5000
batch-pending = 10
batch-timeout = "1s"
consistency-level = "one"
separator = "."
udp-read-buffer = 0
1
2
3
4
5
6
7
8
9
10
11
12
修改后,使用以下命令加载InfluxDB启动
有两种方法可以使用配置文件启动InfluxDB:
1.使用以下-config选项将进程指向正确的配置文件
influxd -config /etc/influxdb/influxdb.conf
1
2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动
echo $INFLUXDB_CONFIG_PATH
/etc/influxdb/influxdb.conf
influxd
1
2
3
InfluxDB操作
[root@zuozewei ~]# influx #登录数据库
Connected to http://localhost:8086 version 1.6.2
InfluxDB shell version: 1.6.2
> show databases #查看所有数据库
name: databases
name
----
_internal
> CREATE DATABASE "jmeter" #创建数据库
> use jmeter #切换数据库
Using database jmeter
> CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 创建管理员权限的用户
1
2
3
4
5
6
7
8
9
10
11
12
4、JMeter配置
创建一个测试计划,并添加Backend Listener
设置InfluxDB IP及端口设置InfluxDB IP及端口
运行测试,等待几秒运行测试,等待几秒
查看JMeter是否生成错误日志查看JMeter是否生成错误日志
端口说明:
8086端口,Grafana用来从数据库取数据的端口
2003端口,JMeter往数据库发数据的端口
查看JMeter数据库下所有的表
> show measurements
name: measurements
name
----
delta
jmeter.all.a.avg
jmeter.all.a.count
jmeter.all.a.max
jmeter.all.a.min
jmeter.all.a.pct90
jmeter.all.a.pct95
jmeter.all.a.pct99
jmeter.all.h.count
jmeter.all.ko.count
jmeter.all.ok.avg
jmeter.all.ok.count
jmeter.all.ok.max
jmeter.all.ok.min
jmeter.all.ok.pct90
jmeter.all.ok.pct95
jmeter.all.ok.pct99
jmeter.test.endedT
jmeter.test.maxAT
jmeter.test.meanAT
jmeter.test.minAT
jmeter.test.startedT
total
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
OK,我们已经可以将统计指标数据成功发送到InfluxDB
四、Grafana&InfluxDB集成
什么是Grafana?
Grafana是一个开源软件,拥有丰富的指标仪表盘和图形编辑器,适用Graphite, Elasticsearch, OpenTSDB, Prometheus,InfluxDB。简单点说就是一套开源WEB可视化平台。
官网地址:https://grafana.com/
1、安装启动
下载安装
wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm
sudo yum localinstall grafana-4.2.0-1.x86_64.rpm
1
2
启动
service grafana-server start
Starting grafana-server (via systemctl): [ OK ]
1
2
使用浏览器打开 http://IP:3000/login,访问Grafana主页
创建InfluxDB数据源
单击save&test,确保可以连接上InfluxDB
创建dashboard
添加Graph面板
数据绑定
线程数/用户相关指标
test.minAT-Min active threads:最小活跃线程数
test.maxAT-Max active threads:最大活跃线程数
test.meanAT-Mean active threads:活跃线程数
test.startedT-Started threads:启动线程数
test.endedT-Finished threads:结束线程数
响应时间指标
.ok.count:采样器的成功响应数
.h.count:每秒点击数
.ok.min:采样器成功最短响应时间
.ok.max:采样器成功最长响应时间
.ok.avg:采样器成功平均响应时间
.ok.pct:采样器成功响应百分比
.ko.count:采样器失败响应数
.ko.min:采样器失败的响应最短时间
.ko.max:采样称失败最长响应时间
.ko.avg:采样器失败平均响应时间
.ko.pct:采样器失败响应百分比
.a.count:采样器响应数(ok.count和ko.count的总和)
.a.min:采样器最小响应时间(ok.count和ko.count的最小值)
.a.max:采样器最大响应时间(ok.count和ko.count的最大值)
.a.avg:采样器平均响应时间(ok.count和ko.count的平均值)
.a.pct:采样器响应百分比(根据和失败样本的总数计算)
Backend Listener的默认百分位设置为“90;95;99”,即百分位数为90%,95%和99%。
Graphite使用点(“.”)去拆分的元素,这可能与十进制百分位值混淆。JMeter转换任何此类值,用下划线(“ - ”)替换点(“.”)。例如,“99.9 ”变为“99_9 ”
默认情况下,JMeter发送在samplerName“all”下累计的所有采样器的指标。 如果配置了 BackendListenerSamplersList,那么JMeter还会发送匹配样本名称的指标,前提是配置 summaryOnly=true
压测中的效果
五、导入Dashboard模版
如果让大家去设计一个好看的Dashboard,估计大家都不太想从零开始自己设计,其实Grafana官网提供丰富的模版的库,大家可以自己上去找,然后进行二次扩展。
官网模版库:https://grafana.com/dashboards
搜索看板模版
此处,我选择下载这个下载量3000+的模版
下模版JSON文件
导入模版
选择数据源
JMeter Backend Listener设置
压测期间的动画效果
至此,我初步打造的压测可视化实时监控大功告成~?
原文链接:https://blog.csdn.net/zuozewei/article/details/82911173