IT运维:使用数据分析平台监控奇安信

监控目标

本文基于鸿鹄2.10.0版本。


●监控奇安信日志类型分布
●监控奇安信攻击行为、分析攻击类型
●监控奇安信攻击来源情况

操作步骤

数据导入

1、创建数据集,如使用已经存在的数据集,可跳过此步骤

数据集名称:qax_syslog(仪表板中使用的名称,如更改为其他,需要在导入仪表板后调整SQL语句中的数据集)

IT运维:使用数据分析平台监控奇安信_第1张图片

2、创建数据源类型,如使用已经存在的数据集,可跳过此步骤

数据源类型:qax_syslog

TIPs:数据源类型用于对具有统一类型属性的数据进行集合处理。鸿鹄提供了多种内置的数据源类型,例如syslog, json, csv等。如果您的数据处理需要配置自定义的字段抽取规则,建议先创建新的数据源类型,再将字段抽取规则绑定到相应的数据源类型。

IT运维:使用数据分析平台监控奇安信_第2张图片

3、配置vector.toml。vector安装参考[vector安装](https://vector.dev/docs/setup/quickstart/#install-vector)

._datatype = "qax_syslog" 数据源类型名称

._target_table = "qax_syslog" 数据集名称

address = "172.16.1.5:20000"

IT运维:使用数据分析平台监控奇安信_第3张图片

字段抽取

字段抽取这里用到的就是读时建模。数据以原始数据进入鸿鹄鸿鹄平台,在需要分析时,进行数据建模。

日志分析

在字段抽取前,我们需要先查看下原始日志,对其进行分析

IT运维:使用数据分析平台监控奇安信_第4张图片

通过查询可以看到原始日志格式如下

IT运维:使用数据分析平台监控奇安信_第5张图片

对其进行分析发现日志由两个部分组成,那么我们需要先通过正则将两个部分分开,再对第一部分采用正则抽取,第二部分采用json抽取。

第一部分

IT运维:使用数据分析平台监控奇安信_第6张图片

第二部分

IT运维:使用数据分析平台监控奇安信_第7张图片

TIPS:如何验证json格式,可以在线网站验证[Json在线验证](https://www.bejson.com/explore/index_new/)

字段抽取

抽取新字段

IT运维:使用数据分析平台监控奇安信_第8张图片

选择目标数据类型,选择样例事件

IT运维:使用数据分析平台监控奇安信_第9张图片

新建抽取规则>编辑正则表达式

IT运维:使用数据分析平台监控奇安信_第10张图片

可以看到我们将两部分日志分离,第二部分为json_content

IT运维:使用数据分析平台监控奇安信_第11张图片

继续新建抽取规则>选中json_content>选择JSON抽取

IT运维:使用数据分析平台监控奇安信_第12张图片

预览并保存,完成抽取

IT运维:使用数据分析平台监控奇安信_第13张图片

仪表板

导入奇安信仪表板。新建仪表板>选择仪表板配置文件>确定

奇安信日志分为3类,webids-ids_dolog、alarm、webids-webattack_dolog,这里使用了钻取,点击奇安信日志类型分布,下面的所有图表会根据日志类型自动适配。

效果如下:

IT运维:使用数据分析平台监控奇安信_第14张图片

IT运维:使用数据分析平台监控奇安信_第15张图片

奇安信仪表板.json(12 kB)

(具体文档请加入鸿鹄技术交流群,至知识库中获取)

你可能感兴趣的:(运维,数据分析,数据库)