Zabbix预处理和数据开源节流

一、简介

在监控环境中构建高频率的监控时，从设计选择的角度需要考虑如何减少性能影响，数据存储空间的保留时长等，Zabbix现成的功能解决能否解决这些问题，是值得探索的。

本文中讨论什么时候应该使用预处理，什么时候适合使用“不保存历史记录”选项，谈及这两种方法的优缺点。

二、数据节流及预处理

数据节流是高频监测的首选方法。使用数据节流，可以丢弃重复的值，并且也可以设置丢弃重复值的心跳间隔。对于离散值的监控项非常有用，例如：服务状态，网络端口状态等。

从Zabbix4.2版本开始所有的预处理都可以由Zabbix proxies来处理。这意味着我们可以在重复的值到达Zabbix Server之前丢弃它们。Zabbix Server采集监控指标数据的值入库将减少进而提高性能并节约了数据库的存储空间大小。

注意事项：监控项的值在到达 Zabbix Server之前被丢弃，此时触发器不会触发就是设置心跳检查的作用。由于 Zabbix Server根据接收到的历史数据计算趋势，所以可能缺少这些监控项的趋势信息。适用于数据节流的预处理规则，任何预处理都可以在代理上完成，任何预处理规则都可以进行数据转换。

三、不保留历史数据

数据节流在配置监控项时设置“不保存历史记录”的设置有点不同。如果通过Proxy来采集一个监控项并设置了“不保存历史记录”，历史数据并不总是被丢弃。原因如下：

• 有些值可以填入主机资产中，如果特定监控项值被配置填充到主机资产字段里就会被转发到Zabbix Server，但不会被存入历史表中。

• 如监控项没有被填入主机资产字段中的文本数据，例如：字符、日志及文本，在达到Zabbix Server之前会被丢弃，但数值类型的浮点数和整型，将被转发到Zabbix Server。是为从数值中推算出趋势信息。值得注意的是：数值类型的数据不会存入历史表中，只有趋势数据会保留。

注：从Zabbix 5.2开始实现了此功能。参考：ZBX-17548

 

四、趋势函数高频率监控

切记"不保存历史数据"的具体内容，从Zabbix 5.2开始，就提供了一些趋势函数!

可以通过历史函数例如trendavg,trendcount,trendmax,trendmin,trendsum来执行不同类型的趋势计算，对一段时间内的趋势数据进行统计并计算出最小(min)/最大(max)/平均(avg)趋势值。

如果只需要特定时间段(小时、天、周等)的指标趋势数据，就可以使用这些趋势函数并结合“不保存历史数据”选项，来丢弃不必要的数据，提高 Zabbix 服务器的性能！

使用趋势函数的方法有两种：

• 如果采集并展示趋势数据，需要创建一个监控项来采集指标(例如：通过Agent类型的监控项net.if.in来采集网络入口流量)并创建一个单独的可计算类型监控项，对这个可计算型监控项使用趋势函数来计算一段时间内趋势数据的平均(avg)/最小(min)/最大(max)值。原始监控项可以选择“不保存历史数据”。

• 如果需要对一段趋势数据定义触发器，而不需要收集趋势数据，那么可以不创建可计算监控项，直接在原始监控项中使用趋势函数来创建触发器。在实际环境中结合预处理方法丢弃或转换数据，并且选择不保存历史数据，在一定的程度上就可以降低对Zabbix的性能影响。基于分布式 Zabbix Proxies上可以实现大型、可伸缩、 Zabbix 架构方案。此架构经过优化且可以快速获取和处理数据。

博客可能不能及时回复问题，技术问题欢迎加入交流。

具有丰富的模板资源及模板开发能力、项目落地管理经验分享欢迎加入交流

微信号:king_songax