来源：http://spot.incubator.apache.org/
一、Apache Spot一瞥
Apache Spot是一个社区驱动的网络安全项目，从头开始构建，目的是在一个开放的、可伸缩的平台上为所有IT自动测量记录数据带来先进的分析。这是一种开源软件，可以利用流量和数据包进行分析。Spot加速了通过机器学习的威胁检测、调查和修复，并将所有企业安全数据整合到一个基于开放数据模型的综合IT自动测量记录中心。Spot的可扩展性和机器学习能力支持基于机器学习的应用程序的生态系统，这些应用程序可以同时运行在一个单独的、共享的、丰富的数据集上，从而为组织提供最大的分析灵活性。
Apache Spot帮助企业和服务提供商通过提供服务的透明性和识别潜在的安全威胁或在云计算的资源中发生的攻击来了解他们的计算环境。虽然目前的威胁情报工具能够提供帮助，但识别未知的威胁和攻击仍然是个挑战。Spot利用了来自Centrify、Cloudera、Cybraics、Endgame、Intel、Jask、Streamsets和Webroot等不同专业的专业知识。Apache Spot提供了一些工具，可以加速企业利用流和包分析技术发现可疑连接和以前未见过的攻击的能力。
二、Apache Spot优势
Apache Spot使用最好的工具来提供最好的功能来防止攻击、识别未知的威胁和提供网络安全。边界流、DNS、代理和内部流提供了显著的优势，可以创建快速有效的数据分析。
Apache Spot在一天后就可以正常工作了，它通过反馈和机器学习不断改进。
三、它是如何工作的
Apache Spot将机器学习作为一种过滤器，用于将恶意的流量与良性的通信隔离开来，并描述网络流量的独特行为。一个数据内容丰富、噪声过滤、白名单和启发式处理的过程，也被应用到网络数据，产生一个最可能的安全威胁的列表。
3.1 并行接收框架
该系统使用开源的针对二进制流和包数据的优化解码器，将解码收的数据加载到Hadoop内的HDFS和数据结构中。解码的数据存储在多种格式中，以便搜索，机器学习，转移到执法部门，或输入其他系统。
3.2 机器学习
系统使用Apache Spark的组合运行可伸缩的机器学习算法。机器学习组件不仅作为一个过滤器，用于区分坏的通信量和良性的通信量，而且还作为一种描述组织中网络通信量的独特行为的方法。
3.3 运营分析
除了机器学习之外，还对网络数据应用了丰富数据内容、噪声过滤、白名单和启发式等经过验证的过程，以生成最可能的模式的简短列表，这些模式可能是安全威胁。
四 关键特性
4.1 可疑的DNS数据包
Apache Spot能够对DNS流量进行深度包检查，以构建一个可能和不太可能的DNS有效负载。在可视化、规范化和进行模式搜索之后，分析人员列出了DNS流量中最可能的威胁。
4.2 可疑的连接
Apache Spot使用先进的机器学习来构建网络和通信模式的机器模型。然后对概率最低的机器之间的连接进行可视化，过滤噪声，并搜索已知的模式。其结果是数据中最有可能的威胁模式，从数十亿的数据中挑选出几百条。
4.3 开放的数据模型
Apache Spot为网络、端点和用户提供通用的开放数据模型，提供了丰富的事件数据的标准格式，使得集成交叉应用程序数据更容易，从而获得完整的企业可见性，并开发新的分析功能。Spot的开放数据模型可以帮助组织在发现新的威胁时快速地相互共享新的分析。
4.4 威胁事件和响应
给定一个IP地址，Apache Spot收集与它相关的通信的所有特征——IP地址的“社交网络”。然后Apache Spot构建一个由该IP发起的会话时间线。
4.5 故事板
在分析人员调查了威胁之后，仍然需要在整个组织中传播事件。“仪表盘”可以快速回答你已经知道要问的问题。分析人员需要的是一个“故事板”，它可以告诉我们谁、什么、在哪里，以及如何用文字和交互可视化来描述故事。
4.6 协作
Apache Spot的开放数据模型可以帮助组织在发现新的威胁时快速共享新的分析。而且，有了Hadoop，组织就能够针对全面的历史数据集运行这些分析，帮助组织识别过去的威胁，这些威胁已经从裂缝中溜走。凭借这一能力，Spot旨在为安全专业人士提供协作，如网络犯罪。
五、Apache Spot开放数据模型（ODM）
Spot最初支持的主要用例包括网络流(Netflow、sflow等)、DNS和代理的网络流量分析。Spot open data模型策略旨在扩展Spot功能，以支持更广泛的网络安全用例。
ODM一瞥
1、包括用于公共数据源的不断增长的打包接收管道目录
2、丰富的事件提供了完整的上下文，从而可以更好地分析和更快地响应事件
3、组织维护和控制其安全数据的一个副本。
六、Spot培育了丰富的应用生态系统
Spot通过提供网络安全分析框架来加速网络安全应用程序的开发。这意味着可以更快地创建更多的解决方案。这是因为Spot允许组织专注于为发现网络犯罪的应用程序开发分析和可视化，而不是花时间构建系统来接收、集成、存储和处理大量或多种安全数据。
加入Apache Spot社区，并使用通用框架与我们合作。
七、架构
随着大数据平台的到来，安全组织现在可以对如何保护自己的资产做出数据驱动的决策。作为网络流捕获的网络流量记录经常被存储和分析，以便在网络管理中使用。一个组织可以使用同样的信息来深入了解企业信息的流向。
通过考虑到其他上下文，如流行的攻击和组织的关键协议，安全团队可以开发一种策略，根据流经该策略的数据的价值，对每个通道进行适当的风险缓解。对于一个组织，我们称之为“端口透视图”。
所有组织都应评价两个方面:
1、一种“足够宽，足够深”的保护策略，包括边缘预防和复杂的异常行为检测
2、对关键协议的深入检查，使用可以扩展到流经该通道的数据量的方法
在检查特定的、独特的数据流时，对于单个组织来说可能是重要的，所有组织都可以通过分析网络流和DNS（域名服务）的回复来实现显著的风险降低。
Apache Spot通过在大数据和科学计算学科中利用强大的技术，通过关注“硬安全问题”检测事件(如横向移动、旁路数据逃逸、内部问题或一般的隐形行为)来支持这一策略。
（1）自动测量记录
流：
DNS(pcaps)；
代理；
（2）并行接收框架
开源的解码器；
在Hadoop加载数据；
数据转换；
（3）机器学习
将数十亿的事件过滤到几千个；
无监督学习；
（4）运营分析
可视化；
启发式的攻击；
噪声过滤器。
八 用例
（1）网络流量分析
Spot允许组织通过识别可疑的网络连接来检测潜在的恶意活动，通过使用现成的算法分析大量的netflow、DNS、代理数据。
（2）降低事故探测和解析的平均时间(MTTR)
Spot提供了一个中央数据存储库的功能，该存储库存储了促进调查所需的所有数据，可以在数秒和数分钟内(与数小时和数天相比)返回调查查询结果，有效地减少了事件MTTR，并将破坏的负面影响降到最低。
（3）威胁搜寻
Spot通过提供分析性的灵活性来执行对大量数据的特别搜索和查询，以及应用特别算法来检测大草堆中的针，从而提高了威胁捕猎的效率。
（4）网络安全数据管理
由于使用Hadoop的数据存储和处理成本，从遗留网络安全系统（如SIEMs）中卸载数据，可以立即获得经济价值。这也为组织提供了未来的价值，组织在新建立的安全数据中心部署了许多分析用例。
！