SIEM 中不同类型日志监控及分析
安全信息和事件管理（SIEM）解决方案通过监控来自网络的不同类型的数据来确保组织网络的健康安全状况，日志数据记录设备上发生的每个活动以及整个网络中的应用程序，若要评估网络的安全状况，SIEM 解决方案必须收集和分析不同类型的日志数据。
什么是日志分析
日志分析是调查收集的日志以识别模式和异常行为、在从各种源收集的日志之间建立关系并在检测到威胁时生成警报的过程。可以使用不同的技术（包括日志关联、取证分析和威胁情报）执行日志分析，以识别恶意活动。它在深入了解网络活动方面也起着重要作用。
日志分析为什么重要
如果没有适当的分析技术，可能很难识别网络中的恶意活动。由于日志包含有关网络中发生的每个活动的信息，因此分析这些日志以：
- 防止数据泄露。
- 监控用户活动并检测异常用户行为。
- 保护敏感数据免受攻击。
- 尽早检测网络攻击并缓解它们。
- 防止因泄露而导致数据丢失。
- 遵守 IT 法规。
日志分析是如何进行的
- 将聚合收集的日志。聚合是从不同系统收集所有不同日志的过程，并且文件被收集和存储在一个中心位置。
- 日志被规范化并转换为可读的结构化格式。
- 然后使用预定义的规则分析和关联规范化的日志数据，以确定从不同来源收集的日志之间的关系。生成与收集的日志的分析相对应的报告和交互式仪表板。相关性可以指示来自不同源的日志数据是否对应于一个事件。如果事件威胁到网络安全，则会发出警报。引发警报的条件是预定义的，也可以根据组织的需求进行自定义。
- 还可以通过应用取证分析和威胁情报来加强分析。对日志数据执行取证分析有助于识别网络中的攻击点。它可以指定攻击是如何进行的，以及网络的哪个部分被破坏以获得进入;它还检查整个网络中的漏洞。
不同类型日志数据监控及分析
使用 SIEM 解决方案收集和分析的不同类型的日志数据，以确保网络安全。
- 外围设备日志
- Windows 事件日志
- 端点日志
- 应用程序日志
- 代理日志
- 物联网日志
外围设备日志
外围设备监控和调节进出网络的流量。防火墙、虚拟专用网络 （VPN）、入侵检测系统 （IDS） 和入侵防御系统 （IPS） 是一些外围设备。这些设备生成包含大量数据的日志，外围设备日志对于了解网络中发生的安全事件至关重要。syslog 格式的日志数据可帮助 IT 管理员执行安全审核、解决操作问题，并更好地了解通过和传出公司网络的流量。
为什么需要监控外围设备的日志数据
- 检测流向网络的恶意流量：这些日志包含有关传入流量、用户浏览的网站的 IP 地址以及失败的登录尝试的详细信息，可帮助管理员跟踪异常流量行为。
- 检测安全配置错误：安全配置错误是防火墙违规的最重要原因，对防火墙配置进行一些更改可能会为恶意网络流量打开大门，监控防火墙日志有助于检测未经授权的安全配置更改。
- 检测攻击：分析防火墙日志有助于检测网络活动中的模式。例如，当服务器在短时间内收到大量 SYN 数据包以将客户端连接到服务器时，这可能表示分布式拒绝服务 （DDoS） 攻击。
剖析典型的外围设备（防火墙）日志数据
2015-07-06 11:35:26 ALLOW TCP 10.40.4.182 10.40.1.11 63064 135 0 - 0 0 0 - - - SEND
上面的日志条目指定事件的时间戳，后跟操作。在这种情况下，它指示防火墙允许流量的日期和时间，它还包含有关所用协议的信息，以及源和目标的 IP 地址和端口号。从此类日志数据中，管理员可以检测到连接到不使用的端口的尝试，指示流量是恶意的。
Windows 事件日志
Windows 事件日志是 Windows 系统上发生的所有事情的记录。此日志数据进一步分为：
- Windows 应用程序日志：这些是 Windows 操作系统中的应用程序记录的事件。例如，此应用程序日志中记录了强制应用程序关闭的错误。
- 安全日志：这些是可能影响系统安全的任何事件，它包括失败的登录尝试和文件删除实例。
- 系统日志：它包含操作系统记录的事件。日志指示进程和驱动程序是否已成功加载。
- 目录服务日志：它包含活动目录（AD）服务记录的事件。它记录 AD 操作，例如身份验证和权限修改。这些日志仅适用于域控制器。
- DNS 服务器日志：这些是来自域名系统 （DNS） 服务器的日志，其中包含客户端 IP 地址、查询的域和请求的记录等信息。它仅适用于 DNS 服务器。
- 文件复制服务日志：它包含域控制器复制的事件。它仅适用于域控制器。
为什么需要监控 Windows 事件日志
- 确保服务器安全：大多数关键服务器（如文件服务器和 AD 域控制器）都在 Windows 平台上运行，监控此日志数据以了解关键资源发生的情况至关重要。
- Windows 工作站安全性：事件日志提供有关工作站功能的宝贵见解，通过监控从设备生成的 Windows 事件日志，可以监视用户活动的异常行为，这可以帮助检测攻击在早期阶段，在发生攻击时，日志可以帮助重建用户的活动以进行取证。
- 监控硬件组件：对 Windows 事件日志的分析通过指示故障原因来帮助诊断工作站硬件组件出现故障的问题。
剖析典型的 Windows 事件日志
Warning 4/28/2020 12:32:47 PM WLAN-AutoConfig 4003 None
Windows 根据每个事件的严重性对每个事件进行分类，包括“警告”、“信息”、“严重”和“错误”。在这种情况下，安全级别为“警告”。上面的日志条目来自 WLAN 自动配置服务，该服务是一个连接管理实用程序，使用户能够动态连接到无线局域网 （WLAN）。下一段指示事件发生的日期和时间。日志指定 WLAN 自动配置检测到有限的网络连接，并且正在尝试自动恢复。使用此日志，SIEM 解决方案可以在此日志中引用的时间戳检查其他设备上的类似日志，以解决网络连接问题。
端点日志
终结点是通过网络连接并跨服务器与其他设备通信的设备。一些示例包括台式机、笔记本电脑、智能手机和打印机。随着组织越来越多地采用远程工作，端点创建了可能被恶意行为者利用的网络入口点。
为什么需要监控端点日志
- 监视可移动磁盘驱动器上的活动：可移动磁盘驱动器通常容易受到恶意软件安装和数据泄露尝试的攻击。通过监视终结点日志，可以检测到这些尝试。
- 监视用户活动：用户必须遵守其组织的内部和外部法规策略，这些策略与在其工作站上安装和使用软件有关。终结点日志可用于监视这些策略，并在发生违规时提供通知。
剖析典型的终结点设备日志
Error 6/20/2019 5:00:45 PM Terminal Services- Printers 1111 None
上面的日志指定终端服务轻松打印驱动程序发生错误。这由错误源和事件 ID （1111） 指示。如果用户在打印文件时遇到问题，可以检查日志以了解问题的确切原因并解决问题。
应用程序日志
企业在各种应用程序（如数据库、Web 服务器应用程序和其他内部应用程序）上运行以执行特定功能。这些应用程序通常对于业务的有效运作至关重要。所有这些应用程序都会生成日志数据，以提供有关应用程序中发生的情况的见解。
为什么需要监视应用程序日志
- 排查问题：这些日志有助于识别和更正与应用程序的性能和安全性相关的问题。
- 监视活动：从数据库生成的日志指示来自用户的请求和查询。这可用于检测未经授权的文件访问或用户的数据操作尝试。日志还有助于解决数据库中的问题。
剖析典型应用程序日志
02-AUG-2013 17:38:48 * (CONNECT_DATA=(SERVICE_NAME=dev12c)
(CID=(PROGRAM=sqlplus)(HOST=oralinux1)(USER=oracle))) *
(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.2.121)(PORT=21165))
establish * dev12c * 0
上述日志条目来自 Oracle 数据库系统，该日志用于从主机进行连接尝试，日志引用数据库服务器收到请求的时间和日期，它还指示发出请求的用户和主机，以及其 IP 地址和端口号。
代理日志
代理服务器通过提供隐私、调节访问和节省带宽，在组织的网络中发挥着重要作用。由于所有 Web 请求和响应都通过代理服务器，因此代理日志可以揭示有关使用情况统计信息和终结点用户的浏览行为的宝贵信息。
为什么需要监视代理日志
- 基线用户行为：从收集的代理日志中分析用户的浏览活动有助于形成其行为的基线。与基线的任何偏差都可能揭示数据泄露，并表明需要进一步检查。
- 要监控数据包的长度：代理日志可以帮助监视通过代理服务器交换的数据包的长度。例如，用户在给定的时间间隔内重复发送或接收相同长度的数据包可能指示软件更新，或发现与控制服务器交换信号的恶意软件。
剖析典型的代理日志
4/8/2020 2:20:55 PM User-001 192.168.10.10 GET https://wikipedia.com/
上面的日志指定 User-001 在日志中指示的日期和时间从 Wikipedia.com 请求页面，分析日志中的请求、URL 和时间戳有助于检测模式，并有助于在发生事件时恢复证据。
物联网日志
物联网 （IoT） 是指与互联网上的其他设备交换数据的物理设备网络，这些设备嵌入了传感器、处理器和软件，以实现数据收集、处理和传输，与端点一样，构成 IoT 系统的设备也会生成日志。
来自 IoT 设备的日志数据可深入了解硬件组件（如微控制器）的功能、设备的固件更新要求以及进出设备的数据流。从物联网系统记录数据的一个关键部分是日志数据的存储位置。这些设备没有足够的内存来存储日志。因此，必须将日志转发到集中式日志管理解决方案，在该解决方案中可以长时间存储日志。然后，SIEM 解决方案分析日志以排查错误和检测安全威胁。
不同的日志格式
上述所有来源的日志通常会转发到集中式日志记录解决方案关联和分析数据，以提供网络的安全概述。日志以不同的格式存储和传输，例如 CSV、JSON、键值对和通用事件格式。
- .CSV
- JavaScript Object Notation（JSON）
- 键-值对(key- value pair)
- 通用事件格式
.CSV
CSV 是一种以逗号分隔格式存储值的文件格式。它是一种纯文本文件格式，无论使用何种软件，都可以轻松将CSV文件导入存储数据库。由于 CSV 文件不是分层的或面向对象的，因此它们也更容易转换为其他文件类型。
JSON（JavaScript Object Notation）
JavaScript Object Notation（JSON）是一种基于文本的数据存储格式。它是一种结构化格式，可以更轻松地分析存储的日志。还可以查询特定字段。这些附加功能使 JSON 成为非常可靠的日志管理格式。
键-值对(key- value pair)
键-值对由两个元素组成：键和映射到它的值。键是一个常量，该值在不同的条目中是可变的，格式设置涉及将相似的数据集分组到一个公共键下，通过运行特定键的查询，可以提取该键下的所有数据。
通用事件格式
通用事件格式（通常称为 CEF）是一种日志管理格式，它通过更轻松地收集和存储来自不同设备和应用程序的日志数据来促进互操作性。它使用系统日志消息格式。它是使用最广泛的日志记录格式，受到各种供应商和软件平台的支持，由 CEF 标头和包含键值对中的日志数据的 CEF 扩展组成。
SIEM 解决方案（Log360）分析从不同来源收集的日志，关联日志数据，并提供见解以帮助组织检测网络攻击并从中恢复。