IT运维:使用数据分析平台监控Windows Eventlog

TIPS:本文鸿鹄版本:2.10.0及以上版本

概述

本文基于《IT运维:利用鸿鹄采集Windows event log数据》(以下简称原文)文章进行了细化与延伸。主要包括细化了安装步骤,增加了仪表板。

鸿鹄端配置

创建数据集与数据源类型

登录鸿鹄提前创建数据集和数据类型,我这里创建的是winlog数据集,下文《安装vector》里配置vector.toml会使用到。如下图:

IT运维:使用数据分析平台监控Windows Eventlog_第1张图片

鸿鹄上开启vector_input,选择从外部数据导入>编辑,选择数据集范围,上图创建的winlog,点击确定。该配置表示会vector会通过20000端口接收数据,并存到指定的数据集winlog。

IT运维:使用数据分析平台监控Windows Eventlog_第2张图片

Windows端配置

windowds端需要先安装Winlogbeat,再安装vector。

●Winlogbeat负责收集windows eventlog

●Vector负责将windows eventlog发送到鸿鹄

安装Winlogbeat

下载winlogbeat

(https://www.elastic.co/cn/downloads/beats/winlogbeat)

IT运维:使用数据分析平台监控Windows Eventlog_第3张图片

将下载后的包解压到C:\,并重名winlogbeat-为winlogbeat

IT运维:使用数据分析平台监控Windows Eventlog_第4张图片

以管理员身份打开PowerShell prompt

IT运维:使用数据分析平台监控Windows Eventlog_第5张图片

IT运维:使用数据分析平台监控Windows Eventlog_第6张图片

(可选).\install-service-winlogbeat.ps1报错解决

IT运维:使用数据分析平台监控Windows Eventlog_第7张图片

IT运维:使用数据分析平台监控Windows Eventlog_第8张图片

IT运维:使用数据分析平台监控Windows Eventlog_第9张图片

检查服务是否运行

IT运维:使用数据分析平台监控Windows Eventlog_第10张图片

进入安装目录,默认为C:\winlogbeat修改配置文件winlogbeat.yml,将里面的内容都删掉,只保留这部分

IT运维:使用数据分析平台监控Windows Eventlog_第11张图片

IT运维:使用数据分析平台监控Windows Eventlog_第12张图片

IT运维:使用数据分析平台监控Windows Eventlog_第13张图片

TIPS:

winlogbeat可以采集多种Windows event log,例如Application、System和Security等。可以修改其配置文件,减少或增加监控项。配置文件路径如下:

IT运维:使用数据分析平台监控Windows Eventlog_第14张图片

若是修改配置文件后,可以通过如下命令进行测试

IT运维:使用数据分析平台监控Windows Eventlog_第15张图片

IT运维:使用数据分析平台监控Windows Eventlog_第16张图片

Winlogbeat会在winlogbeat.exe进程的启动目录里生成名为data的数据目录,如果想让Winlogbeat重新获取所有event log数据,可以在winlogbeat.exe进程停止运行后删除该目录,再重启即可

安装vector

下载vector

IT运维:使用数据分析平台监控Windows Eventlog_第17张图片

将下载后的包解压到c:\,并重命名为vector(重名的主要目的是命令行好调用)

IT运维:使用数据分析平台监控Windows Eventlog_第18张图片

进入到c:\vector\config目录下,修改vector.toml配置文件

IT运维:使用数据分析平台监控Windows Eventlog_第19张图片

IT运维:使用数据分析平台监控Windows Eventlog_第20张图片

打开powershell,运行vector

IT运维:使用数据分析平台监控Windows Eventlog_第21张图片

IT运维:使用数据分析平台监控Windows Eventlog_第22张图片

此时登录到鸿鹄可以查看到数据已经发送到鸿鹄。登录鸿鹄后查看数据如下:

IT运维:使用数据分析平台监控Windows Eventlog_第23张图片

验证没问题后,配置vector开机自动运行

IT运维:使用数据分析平台监控Windows Eventlog_第24张图片

打开服务,设置为开机自动启动

IT运维:使用数据分析平台监控Windows Eventlog_第25张图片

如果配置错了,删除服务,如果删除后有报错,提示deleteservice failed 1072,注销后重新登录即可

IT运维:使用数据分析平台监控Windows Eventlog_第26张图片

仪表板

我已经创建了windowns event log的数据分析仪表板,并保存为了配置文件,可以直接导入仪表板配置文件(见文末的附件)来创建。如果你的数据集名称和我的不一样,需要将数据集名称进行变更。

仪表盘导入

新建仪表板>选择仪表盘配置文件>浏览后选择你需要导入的仪表盘文件即可

IT运维:使用数据分析平台监控Windows Eventlog_第27张图片

仪表板展示

效果图主要包含两个部分,第一部分是事件概览,第二部分是登录事件的分析。

IT运维:使用数据分析平台监控Windows Eventlog_第28张图片

IT运维:使用数据分析平台监控Windows Eventlog_第29张图片

IT运维:使用数据分析平台监控Windows Eventlog_第30张图片

IT运维:使用数据分析平台监控Windows Eventlog_第31张图片

仪表板文件

Windows Event仪表板.json(18 kB)

(具体文档请加入鸿鹄技术交流群至知识库获取)

Windows事件日志不全解决

现象

如果你发现你进来的数据不全,那是因为winlogbeat会在winlogbeat.exe进程的启动目录里生成名为data的数据目录,这里会生成checkpoint,如果你打断了这个进程,再次运行的时候可能会从下一个checkpoint点开始,也就是说,这时候你的数据就不全了,他会从新的checkpoint读取数据,而不会从你上次打算的checkpoint读取数据。

解决方法

让Winlogbeat重新获取所有event log数据,可以在winlogbeat.exe进程停止运行后删除该目录,再重启即可。方法如下:

先删除YHP上数据集内的数据,避免后面进入数据会出现重复数据

IT运维:使用数据分析平台监控Windows Eventlog_第32张图片

ctrl+c停止vector数据输入

IT运维:使用数据分析平台监控Windows Eventlog_第33张图片

删除data目录

IT运维:使用数据分析平台监控Windows Eventlog_第34张图片

重新运行vector

IT运维:使用数据分析平台监控Windows Eventlog_第35张图片

再次查询,发现数据条目正常了

IT运维:使用数据分析平台监控Windows Eventlog_第36张图片

你可能感兴趣的:(运维,数据分析,windows)