Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （ 一）

很多人可能对SIEM这个单词很陌生。它是英文单词Security Information and Event Management的缩写。意思是安全信息及事件管理的意思。在今天的这篇文章中，我们来重点介绍Elastic SIEM。利用Elastic SIEM的速度，规模和相关性来推动您的安全操作和威胁搜寻。自Elastic Stack 7.2版本以后，Elastic 开始提供SIEM解决方案。

随着网络攻击和数据泄露事件的增多，我们被告知要保持敏感数据的安全。 但是，在网络安全方面，积极主动同样重要。 了解我们的信息系统正在发生的事情有助于我们确定如何改善信息安全状况。 这就是为什么安全分析很重要的原因。

对于大中型企业，网络安全需要预算，足够的人员和适当的工具来保护和防御网络攻击。 这些工具包括安全信息和事件（SIEM）解决方案，用于分析其环境中设备的日志。 但是对于小型企业和家庭而言，访问有效的安全分析可能会花费大量时间或金钱。 

Elastic SIEM是一种以有限的时间和资源为小型企业和家庭提供安全分析和监视功能的好方法。 这对于大型企业来说也很棒，但是针对这个博客系列，我们将继续专注于较小的实现。

SIEM简介

什么是SIEM?

安全信息和事件管理（SIEM）是一种软件解决方案，可以汇总和分析整个IT基础架构中许多不同资源的活动。SIEM从网络设备，服务器，域控制器等收集安全数据。 SIEM对该数据进行存储，规范化，汇总和应用分析，以发现趋势，检测威胁并使组织能够调查任何警报。SIEM的实现流程可以描述如下：

SIEM是如何工作的？

SIEM为事件响应团队提供了两项主要功能：

• 有关安全事件的报告和取证
• 基于与特定规则集匹配的分析的警报，表明存在安全问题

SIEM的核心是数据聚合，搜索和报告系统。 SIEM从整个网络环境中收集大量数据，进行合并并使其易于访问。借助唾手可得的数据分类和布局，您可以根据需要研究数据安全漏洞。

安全信息和事件管理功能

Gartner确定了SIEM的三项关键功能（威胁检测，调查和响应时间）-您在SIEM市场中通常会看到其他功能，包括：

• 基本安全监控
• 先进的威胁检测
• 事件取证和响应
• 日志收集
• 数据归一化
• 通知和警报
• 安全事件检测
• 威胁响应工作流程

 

为什么Elastic Stack适合做SIEM?

Elasticsearch的特点

Elasticsearch是Elastic的核心组件。我们首先来了解一下Elasticsearch的特点：

Elastic Stack 以其speed，Scale 和 Relevance和其它的很多的产品区分开来：

1） Speed （速度）：Elasticsearch面对海量的数据可以提供毫秒级的搜索速度。这对Elasticsearch的速度使您的安全从业人员更加高效，更加有效，最终使他们能够在造成损害之前检测威胁的响应。

• 使用交互式仪表板监视您的环境。
• 通过快速连续的即席查询来寻找威胁。
• 随意提取并透视基础数据。

2）Scale （规模）。Elasticseach集群极易扩容。面对不断增加的数据，Elasticsearch集群可以添加更多的节点来存储更多的数据。针对有的安全数据的要求，需要保持至少6个月的数据。Elasticsearch也能轻易满足这些需求，而且即使在不断增加的数据的情况下，Elasticsearch的搜索速度丝毫不受影响，也能达到毫秒级的搜索速度。借助Elastic的水平可扩展性，大型分析团队可以临时方式探索大量机器数据。 它的开放API支持与其他系统和应用程序的集成，并且其非专有文件格式可防止锁定。

如果您从事安全工作，那么我不必告诉您可扩展性是其他技术的一大挑战。 无论您是15年前使用Cisco Mars，10年前使用ArcSight还是本十年中的任何时候使用专有工具，都是如此。

如果您使用过旧技术，请考虑以下两个问题：

• 由于技术限制或许可证限制，您必须多久丢弃一次数据？
• 您可以保留多长时间（7天）？ 15天？ 也许30天？

Elastic可以广泛收集数据，使数据保留更长的时间，并更快地进行搜索。

3）Relevance：Elastic通过机器学习自动发现异常，并通过相关性自动检测已知威胁，而其强大的搜索和可视化功能可进行威胁监视和调查。

Elasticseach可以轻松地从任何地方摄取数据

任何一个SIEM系统，采集数据是非常重要的一环。在上面我们已经讲了，Elasticsearch提供了开放的API可以很轻易地和其它的应用系统进行对接，并进行数据的集成。它没有专有的文件格式。针对Elasticseach来说，目前它提供如下的三种方式来对数据进行对接:

正如上面所显示的那样，我们可以通过：

1. Beats：我们可以通过beats把数据导入到Elasticsearch中
2. Logstash：我们可以Logstash把数据导入。Logstash的数据来源也可以是Beats
3. REST API：我们可以通过Elastic所提供的丰富的API来把数据导入到Elasticsearch中。我们可以通过Java, Python, Go, Nodejs等各种Elasticsearch API来完成我们的数据导入。

那么针对Beats来说，Beats是如何和其它的Elastic Stack一起工作的呢？我们可以看如下的框图：

从上面我们可以看出来，Beats的数据可以有如下的三种方式导入到Elasticsearch中：

• Beats ==> Elasticsearch
• Beats ==> Logstash ==> Elasticsearch
• Beats ==> Kafka ==> Logstash ==> Elasticsearch

正如上面所显示的那样：

• 我们可以直接把Beats的数据传入到Elasticsearch中，甚至在现在的很多情况中，这也是一种比较受欢迎的一种方案。它甚至可以结合Elasticsearch所提供的pipeline一起完成更为强大的组合。
• 我们可以利用Logstash所提供的强大的filter组合对数据流进行处理：解析，丰富，转换，删除，添加等等。你可以参阅我之前的文章“Data转换，分析，提取，丰富及核心操作”
• 针对有些情况，如果我们的数据流具有不确定性，比如可能在某个时刻生产大量的数据，从而导致Logstash不能及时处理，我们可以通过Kafka来做一个缓存。你可以参考我的文章“使用Kafka部署Elastic Stack”。

借助预先构建的Beats集成，可以快速从端点，网络设备，应用程序-真正喜欢的任何源中提取数据。 而且，如果您没有看到所需的集成，请与Elastic社区协作以查找或构建它。 这些是都是开源的，也是对我们有利的一面。

 

Elastic SIEM架构

SIEM可以分析主机相关和网络相关的安全事件，作为警报调查或交互式威胁搜寻的一部分。

Elastic SIEM的核心是新的SIEM应用程序，这是一个交互式的工作区，安全团队可以对事件进行分类并进行初步调查。 其时间轴事件查看器使分析人员能够从Kibana内收集和存储攻击证据，固定和注释相关事件，并对结果进行评论和共享，从而使您可以轻松地处理遵循ECS格式的任何数据。

Kibana一直是安全团队可视化，搜索和过滤其安全数据的绝佳场所。 Elastic SIEM应用程序采用了安全团队对Kibana喜爱的所有方面（交互性，临时搜索和响应式向下钻取），并将其打包为直观的产品体验，可与典型的SOC （Security Operations Center ）工作流程保持一致。

Kibana中的SIEM应用程序为安全团队提供了一个交互式工作区，以对事件进行分类并进行初步调查。 此外，机器学习异常检测作业和检测引擎规则提供了自动检测整个服务器和工作站机群中可疑活动的方法。

总结一下：

Elastic SIEM能够分析与主机有关的事件和与网络有关的安全事件，作为以下部分的一部分：

• 警报调查
• 威胁搜寻
• 进行初步调查
• 事件分类

 

SIEM 组件

SIEM需要以下Elastic Stack组件:

Elastic Endpoint Security是提供预防，检测和响应功能的端点安全平台和代理。 它将事件和安全警报直接发送到Elasticsearch。

Beats是作为代理安装在系统上的开源数据托运人。 Beats将安全事件和其他数据发送到Elasticsearch。

Elasticsearch是一个实时的分布式存储，搜索和分析引擎。 Elasticsearch擅长索引半结构化数据流，例如日志或指标。

Kibana是一个旨在与Elasticsearch一起使用的开源分析和可视化平台。 您可以使用Kibana搜索，查看和与Elasticsearch索引中存储的数据进行交互。 您可以轻松地执行高级数据分析，并在各种图表，表格和地图中可视化数据。

Kibana中的SIEM应用程序提供了专用的用户界面，用于分析和调查主机和网络安全事件。

 

附加的Elastic组件

您可以将SIEM与其他Elastic产品和功能一起使用，以帮助您识别和调查可疑活动：

• 机器学习
• 警示
• Canvas - 可以帮我定制自己喜欢的面板

数据源

SIEM可以从各种来源提取和分析数据，包括Elastic Endpoint Security，Beats和Beats模块，APM事务以及映射到Elastic通用数据定义（ECS）的第三方数据采集器。

Host 数据源

• Auditbeat

  • System module - Linux, macOS, Win

    • packages
    • processes
    • logins
    • sockets
    • users and groups
  • Auditd module (Linux Kernel Audit info)
  • File integrity module (FIM) - Linux, macOS, Win

• Filebeat

  • system logs (auth logs) - Linux
  • Santa - macOS

• Winlogbeat

  • Windows event logs - Windows

Network数据源

• Packetbeat

  • Flows
  • DNS
  • other protocols

• Filebeat

  • Zeek NMS module
  • Suricata IDS module
  • Iptables/Ubiquiti module
  • CoreDNS module
  • Envoy proxy module (Kubernetes)
  • Palo Alto Networks firewall module
  • Cisco ASA firewall module
  • AWS module
  • CEF module
  • Google Cloud module
  • NetFlow module

数据类型

从上面的Host及Network数据源中，SIEM帮我提炼出如下的四类的数据类型：

1） Audit 事件：使用Auditbeat收集Linux audit框架数据，以监视系统和文件完整性的详细信息。 运送到Elasticsearch以在SIEM应用中进行分析。

2）Authentication 日志：使用Auditbeat和Filebeat系统模块收集的身份验证数据调查尝试的登录和相关活动。

3）DNS 流量：借助Packetbeat收集的DNS数据，查看网络上发生的一切：用户访问模式，域活动，查询趋势等。

4）Netflow：通过分析流数据（由Filebeat NetFlow模块收集和解析）来建立环境的广阔视野。

建立整体观点

收集数据是一回事。 统一检查它的能力是另一个。 借助Elastic Common Schema（ECS），您可以集中分析整个环境中的信息，例如日志，流和上下文数据，无论数据源有多分散。在Kibana中有一个专用应用程序叫做SIEM，可让安全从业人员以更简化的方式调查和分类常见的主机和网络安全工作流。

Ops和威胁搜寻是团队协作

Elastic SIEM应用程序是一个交互式的工作区，安全团队可以对事件进行分类并执行初步调查。 监控威胁，在时间轴上收集证据，固定并注释相关事件，并将潜在事件转发到票务和SOAR平台。

 

Elastic SIEM客户

过去的几年中，Elastic Stack已成为安全从业人员的首选，可以保护他们的系统和数据免受网络威胁。 Bell Canada和Slack使用Elastic Stack进行安全性分析。 思科Talos将Elasticsearch作为其威胁搜寻程序的核心。 由十大学术联盟建立的共享网络安全运营中心OmniSOC和Oak Ridge国家实验室选择使用弹性堆栈作为SIEM解决方案的核心。 而且我们已经看到诸如RockNSM，HELK之类的开源项目围绕Elastic Stack形成，以支持安全运营商。

Elastic SIEM 社区生态：

总结

在今天的介绍中，我们主要介绍了SIEM及Elastic SIEM的一些基本的概念。那么在我之后的文章中，我们将介绍如何动手部署SIEM。请阅读“Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （ 二）”。谢谢！

 

参考：

【1】https://www.varonis.com/blog/what-is-siem/

【2】https://www.elastic.co/guide/en/siem/guide/current/siem-overview.html