使用Apache Metron将Intel威胁情报输入应用到自动测试记录事件

来源：https://community.hortonworks.com/articles/31812/applying-threat-intel-feeds-to-telemetry-events-wi.html

简短描述:

本教程将向您介绍如何加载和应用Intel威胁输入，因为事件在整个平台上流动。

在前一篇文章中，我们讨论了如何丰富自动测试记录事件，我们讨论了如何丰富一个给定的自动测试记录事件的域元素，如WhoIs数据中home country，与domain等相关的公司信息。在本文中，我们将使用一种称为intel 威胁情报输入的特殊类型的数据进行充实。当一个给定的自动测试记录事件匹配Intel威胁情报中的数据时，会生成一个警报。

同样，客户要求如下:

1、来自Squid日志的代理事件需要实时接收；

2、必须将代理日志解析为Metron可以理解的标准JSON结构；

3、实时地，需要对squid代理事件进行丰富，使所域名信息丰富IP信息；

4、在实时的情况下，在代理事件中的IP必须与intel威胁情报进行检查；

5、如果与有intel威胁情报匹配，需要提高警报；

6、最终用户必须能够看到新的自动测试记录事件和来自新数据源的警报；

7、所有这些需求都需要在不编写任何新的java代码的情况下轻松实现。

在本文中，我们将介绍如何做4和5。

一、英特尔威胁情报框架解释

Metron目前提供了一个可扩展的框架来插入intel威胁情报。每一个英特尔威胁源有两个组成部分:一个丰富的数据源和丰富的bolt。威胁情报输入是批量加载的，并流的方式输入到威胁情报存储库中，类似于如何加载丰富的输入。键以键值格式加载。键是指示器，值是指示器的JSON格式描述。建议使用威胁情报输入聚合器(如Soltra)通过Stix/Taxii对提要进行去重化和规范化。Metron提供了一个适配器，可以读取soltra生成的Stix/Taxii提要并将它们以流的方式输入到Hbase中，Hbase是支持Metron的高速威胁情报查询的数据存储。Metron还提供了一个平面文件和Stix大容量加载程序，即使不使用威胁情报输入聚合器，也可以将intel威胁情报数据规范化、去重，以批量加载或以流的方法存储到Hbase中。

下图说明了该体系结构:

第1步:Intel威胁情报输入

Metron设计用于处理Stix/Taxii威胁输入，但也可以大量装载CSV文件中的威胁数据。在这个示例中，我们将探索CSV示例。这里用于丰富的装载机框架也用于威胁情报。与丰富相类似，我们需要设置一个data.csv文件、提取器配置JSON和丰富配置JSON。

对于这个示例，我们将使用一个Zeus恶意软件跟踪器列表，它位于这里:https://zeustracker.abuse.ch/blocklist.php?

1、将上述链接中的数据复制到VM上名为domainblocklist.txt的文件中；

2、运行以下命令，将上面的文件解析为一个名为domainblocklist.csv文件。

现在我们有了“Intel威胁情报输入”，现在需要配置一个描述源的提取器配置文件。创建一个名为extractor_config_temp.json的文件，并将以下内容放在其中。

运行以下命令删除我们运行的非ascii字符:

步骤2:配置元素进行Intel威胁情报输入映射

现在，我们必须配置一个元组的元素，交叉应用的Intel威胁情报内容。这个配置将存储在zookeeper中。

配置如下:

将该文件剪切并粘贴到虚拟机上的一个名为“lyriment_config_temp.json”的文件中。因为从这个博客复制粘贴将包含一些非ascii的隐形字符，将它们删除，请运行。

第三步:运行Intel 威胁情报加载器

现在我们已经有了英特尔威胁源和英特尔威胁情报的配置，我们现在可以运行加载器将数据从英特尔威胁情报源移动到Metron英特尔威胁存储库，并在zookeeper中存储丰富配置。

在此之后，将在Hbase中加载英特尔的威胁情报数据，并建立一个Zookeeper映射。数据将被填充到称为threatintel的Hbase表中。要验证日志被正确地接收到Hbase中，请运行以下命令:

您应该会看到从CSV文件中装载数据的表格。现在检查是否正确填充了Zookeeper丰富标签:

通过使用squid客户机执行http请求生成一些数据(大约执行20次)

二、查看Metron UI中的威胁警报

当这些日志被接收后，我们会收到一些信息，这些信息匹配Intel威胁情报:

注意这条消息的几个特征。它具有is_alert=true，将其指定为警报消息。

现在我们有了警报，我们需要在Kibana中可视化它们。首先，我们需要设置一个固定查询来查找is_alert=true的消息:

一旦我们将警报表指向这个固定查询它看起来是这样的: