IT运维:使用数据分析平台监控飞塔防火墙

概述

本文可以认为是基于《FortiGate防火墙日志审计运维》文章做的进一步延伸。主要介绍在飞塔防火墙日志进入到鸿鹄后,如何进行字段抽取,以及图表的展示。

  • 字段抽取:采用键值抽取

  • 图表展示:本文将增加一下略复杂的语句,并采用更多的图表展现方式

前提条件

参考本文有一定的前置条件,包括如下:

鸿鹄已经完成安装,并可以正常工作

vector已经安装并完成配置,并可以正常工作

本文的数据源类型为forti_syslog,数据集为forti_syslog,可以按照自己的环境去匹配。但数据源类型建议在syslog导入前完成创建,因为后续字段加工时,会对数据源类型进行更改,并绑定

如需了解鸿鹄vector等详细的安装与配置,可以参考《FortiGate防火墙日志审计运维》原文。

采集syslog数据

TIPS:2.10.0及之后的版本支持页面配置syslog接收数据。简化了syslog数据采集的配置,操作方法如下:

创建数据集为forti_syslog

IT运维:使用数据分析平台监控飞塔防火墙_第1张图片

创建数据源类型为forti_syslog

IT运维:使用数据分析平台监控飞塔防火墙_第2张图片

配置syslog,端口默认30131-30133可选(注意:发送端设备要指定配置发送的端口和协议,应与鸿鹄上一致)

IT运维:使用数据分析平台监控飞塔防火墙_第3张图片

操作步骤

本文假定forti的日志按照数据源类型为forti_syslog,数据集为forti_syslog,正常导入到鸿鹄平台。

字段抽取

原始日志分析

在字段抽取前,我们需要先查看下原始日志,对其进行分析

IT运维:使用数据分析平台监控飞塔防火墙_第4张图片

IT运维:使用数据分析平台监控飞塔防火墙_第5张图片

通过查询可以看到原始日志格式如下,对其进行分析发现日志为标准的键值格式,即K/V格式,那么我们可以确定我们的字段抽取方式为键值抽取。

TIPS:键值抽取默认通过"="进行抽取的,如果日志是K:V格式的,则需要使用parse_autokv抽取。此外,键值抽取是无法支持包含()/的字符串抽取 ,抽取到这个位置会自动终止。

IT运维:使用数据分析平台监控飞塔防火墙_第6张图片

键值抽取

抽取新字段。

IT运维:使用数据分析平台监控飞塔防火墙_第7张图片

选择数据源类型,选择数据样例。

IT运维:使用数据分析平台监控飞塔防火墙_第8张图片

选择抽取规则:键值抽取,这里会自动抽取出来相应的字段。

IT运维:使用数据分析平台监控飞塔防火墙_第9张图片

为规则命名并保存。

IT运维:使用数据分析平台监控飞塔防火墙_第10张图片

再次查询,可以看到字段已经完成抽取。

IT运维:使用数据分析平台监控飞塔防火墙_第11张图片

图表展示

仪表盘可以直接导入,我会在最下面附上我的仪表盘。如果你的数据集名称和我的不一样,需要将数据集名称进行变更。

仪表盘导入

新建仪表盘>选择仪表盘配置文件>浏览后选择你需要导入的仪表盘文件即可

IT运维:使用数据分析平台监控飞塔防火墙_第12张图片

变更仪表盘数据集

因为本文中数据集为forti_syslog,如果你的数据集不同,需要根据你的环境进行变更。操作如下:

点击编辑

IT运维:使用数据分析平台监控飞塔防火墙_第13张图片

点击sql

IT运维:使用数据分析平台监控飞塔防火墙_第14张图片

将数据集forti_syslog变更为你的数据集名称。

IT运维:使用数据分析平台监控飞塔防火墙_第15张图片

效果图

IT运维:使用数据分析平台监控飞塔防火墙_第16张图片

IT运维:使用数据分析平台监控飞塔防火墙_第17张图片

IT运维:使用数据分析平台监控飞塔防火墙_第18张图片

FortiGate防火墙-final.json(16KB)

(具体文件请加入鸿鹄技术交流群,至知识库中获取)

你可能感兴趣的:(运维,服务器,数据库)