Metron UI—说明

来源：https://community.hortonworks.com/articles/26812/metron-ui-finding-a-needle-in-a-haystack.html

简短描述:

在下面的文章中，我将介绍如何使用Metron UI将数据过滤到您要查找的内容中

Metron提供了一种基于kibana的UI，该UI被设计为单一的玻璃面板，以通过不相关的过滤器进行过滤，并在相同的窗格上显示信息、警报和分析人员正在寻找的内容。Metron UI与传统的SIEM工具相比有几个优点，包括灵活性，以及将指针（needle，异常）以及指针（needle，异常）的所有上下文显示在同一个屏幕上，不需要从控制台跳到控制台来收集信息。

让我们首先描述UI面板的部分。具体来说，有4个部分:固定查询和过滤器（Pinned Queries and Filters）、接收直方图面板（ Ingest Histogram Panels）、详细的消息表（ Detailed Message Tables），最后是PCAP面板（ PCAP panel）。我们将详细介绍本文中的所有部分，然后我们将介绍如何将所有内容连接在一起，并创建一个玻璃界面窗格，以过滤数据并为搜索创建上下文。

我们需要检查的UI的第一部分是固定查询。在Metron中，如果允许自动测试记录索引（telemetry），则会创建每个自动测试记录索引的旋转索引。按照惯例，该索引将有一个名称为[telemetry_name]_[timestamp]。按照惯例，索引中的自动测试记录文档将被称为[telemetry_name]_doc。在Metron中创建单个玻璃界面窗格的关键是首先创建一个引用自动测试记录文档类型的固定查询。Metron TP1提供了为YAF、Bro和Alerts(由Snort填充)创建的3个查询。当设置正确时，这些固定查询将如下所示:

可以为新的自动测试记录类型添加自定义固定查询。为此，单击固定查询栏旁边的+符号，并输入查询以查找新的自动测试记录文档类型。添加Snort的示例如下:

设置完固定查询后，我们可以继续为每个单独的自动测试记录设置直方图面板和详细的表。同样，YAF、Bro和警报(Snort)是为TP1设置的，但是添加额外的源是可能的。直方图显示了每种自动测试记录类型的接收速率，按照惯例，我们为每种类型设置一个。要为新的自动测试记录X添加一个额外的直方图面板，您需要首先为该自动测试记录类型创建一个固定的查询。然后(为了使它更容易)克隆一个现有的TP1直方图面板，更改它的名称以反映面板的新名称，并切换面板指向的固定查询(指向指向x_doc的查询)。

流程的下一步是创建一个详细的消息面板。按照约定，每个元数据自动测试记录应该有一个面板，一个面板是警报的“捕获所有”面板。更具体地说，Metro支持两种类型的消息:元数据和警报。TP1包含YAF和Bro的详细元数据面板(不包含警报的元数据自动测试记录）。

当Metron对接收的自动测试记录信息进行解析时，它提取并将消息的不同部分规范化为一个标准的Metron JSON。这里包含了应该规范化的不同字段的命名约定和格式:Metron JSON对象。这是一个不断发展的列表。标准化和规范化字段名和格式允许Metron用一个查询搜索不同的自动测试记录消息，这是我们将在本文后面介绍的特性。要为元数据遥测X设置您自己的详细信息面板，只需(a)确保您有一个查找x_doc的固定查询设置，(b)有一个最完整的直方图设置，(c)克隆一个现有的TP1详细信息面板，重命名它，并将其指向x_doc固定的查询。您将看到面板现在使用类型为x_doc的索引文档填充。

metron支持的第二个自动测试记录类型是alerts telemetry。警报自动测试记录来自IDS传感器，比如Snort或混合自动测试记录，比如包含一些元数据和一些警报消息的应用程序日志。虽然可以为每个警报自动测试记录设置一个新的面板，但是更理想的做法是设置一个包含所有警报的面板。为此，我们需要一个特定的固定查询。Metron中包含警报的每个自动测试记录消息都被标记为is_alert=true字段。因此，查找所有警报的固定查询将如下所示:

这保证了查询将会从多个自动测试记录(甚至混合模式自动测试记录中包含一些元数据和与它们相关的警报)中拉入警报。然后，我们可以设置一个只包含警报的详细表。这已经在“警报”表下为TP1设置。

可以自定义为每个警报表显示的字段。理想情况下，您希望显示最重要的字段(以及遥测相关的标准字段)。为此，单击并选中表中要显示的字段名框。选择要显示的自动测试记录类型的示例如下:

UI的最后一部分是PCAP面板。如果在Metron中启用了PCAP，则可以恢复与任何数量的警报或自动测试记录消息相关的实际PCAP。PCAP面板，如果设置正确，应该是这样的:

PCAP面板由PCAP服务支持，该服务将使用5个tuple +开始和结束时间戳作为参数，并向最终用户交付相关的PCAP。然后，可以将每个PCAP导入到Wireshark中，以便对网络流量进行额外的细粒度分析。

Metron UI用例:在Haystack中找到一根针

现在我们已经了解了UI是如何设置的，因此我们可以在各种场景中运行，以了解如何过滤噪声，只获取您正在查找的警报和上下文。为了做到这一点，我们需要定义全局过滤器。全局筛选器类似于固定查询，但是全局应用于每个UI面板，并且只显示查询指定的信息。要定义全局查询，请展开filter选项卡并单击+图标以定义n个过滤器。例如，要过滤掉面板，只显示来自端口80的http流量，一系列过滤器将如下所示:

在设置这些过滤器之后，所有Metron面板将仅使用这些查询指定的信息进行筛选。这是非常强大的，因为所有自动测试记录都是使用标准的Metron JSON格式，所以单个过滤器将适用于所有遥测类型。因此，与过滤器集相关的警报和元数据条目将被过滤。可以为geo数据以及任何一种方法定义额外的过滤器。因此，在我们的示例中，当查看Snort警报时，直方图和警报面板都会过滤如下内容:

将对其余面板应用相同的过滤器，以便显示这些警报的上下文信息。得到的过滤仪表板将如下所示:

这种安排的好处是，通过逐步叠加过滤器，您可以获得您正在寻找的信息。因为每个面板都更新了你需要的所有上下文(因为每一个自动测试记录源都有一个面板)都显示在同一个屏幕上。因此没有其他控制台可以跳转。另外，PCAP检索也在那里，因此如果需要进行更多的取证分析，那么在同一个UI上也可以使用该服务。