Apache Spot 用机器学习加强网路弱点分析一：简介

英特尔（Intel）和Hadoop企业版发行商Cloudera共同宣布，向Apache基金会贡献一个新的开源专案Spot，Spot专案利用大数据分析和机器学习技术，来加强网路弱点侦测。

Spot专案的前身是由英特尔专为网路安全分析所开发的开源专案原为“开放网络洞察（Open Network Insight，ONI）”，并以Cloudera平台为基础，採用开放资料模型（Open Data Model）开发而成。而现今企业组织在面对打击网路威胁的最大挑战之一，就是从庞大的安全性事件资料来源中，蒐集和正规化（Normalize）资料，来进行安全性分析。其目标是，通过大数据分析及机器学习提供先进的威胁检测，进而提高对安全威胁的可视性。

根据Cloudera，目前Spot专案主要用于如NetFlow、sFlow、DNS、Proxy等的网路流量分析，且Spot利用监督和无监督机器学习技术，来进行异常事件侦测，以辨识网路弱点。

同时，Spot所採用的开放资料模型，在批次或串流资料的情况下，可以应用在读取或写入，且允许使用者从特定资料来源个别进行安全性分析，这种方式也提供使用者能够弹性更改基础资料来源，而不影响资料分析。另外，Spot的开放资料模型也开放网路安全服务厂商以该模型为基础，来发展新的产品。

而Spot专案为了支援更广泛的应用，扩展了网路弱点的资料蒐集和分析常态事件导向资料来源，包含Active Directory或身份管理、使用者行为分析、Proxy、网路伺服器、防火墙等。

目前，Spot专案的应用範围涵盖了，利用机器学习和进阶分析模型来侦测已知和未知的网路弱点、事件侦测和分辨，以及依照所需的分析框架来提供中央资料储存，以扩充所需分析的资料量等。

Spot专案现阶段正在孵化阶段（Incubate），有Cloudera、英特尔、eBay、Webroot、Jask等厂商投入开发与贡献。

开源社区一致支持Apache Spot愿景：

●全面的网络安全中心和开放数据模型：
Apache Hadoop为机构收集和管理所有安全数据提供了统一平台。Apache Spot通过Apache Hadoop为网络、终端和用户提供公共的开放数据模型。这些开放数据模型为丰富的事件数据提供了标准格式，因此跨应用的数据集成更容易实现，以获得全面的企业可视性，并开发新的分析功能。

●协同分析：网络犯罪分子总是联手行动。Apache Spot将使安全行业能够协同合作。领先的网络安全数据科学家一直在为Apache Spot做代码贡献，开发了开箱即用式机器学习功能，以帮助各种机构运用Apache Spark迅速发现异常和恶意行为。在发现新的安全威胁时，Apache Spot的开放数据模型可确保各种机构之间能够迅速分享新的分析结果。通过Apache Hadoop，各种机构能够对全面的历史数据集运行数据分析，从而有助于发现过去疏漏的安全威胁。

●培育丰富的应用生态系统：
随着各种企业不断开发网络安全应用，Apache Spot在已经拥有的强大合作伙伴生态系统上可起到加速开发的作用。机构可以将Apache Spot作为一个网络安全分析框架使用，节省为摄取、集成、存储和处理任何数量或种类的安全数据这方面开发系统的时间，以便将更多时间投入到为发现网络犯罪建立数据分析和可视化功能上。

根据Gartner的市场趋势报告，60%用户行为分析应用和25%网络流量分析应用是以CDH为基础开发的。随着Apache Spot完成了针对CDH的优化，Apache Spot已经为加速下一代网络安全应用开发做好了准备。