当网络安全遇上大数据分析（1）

【本人先将一些琐碎的想法列在这里，将来会整理一下，更系统的阐述我的一些认知】

这篇文章介绍了一种对BDA进行分类的方法，然后针对不同的类别分别枚举了一些创新型公司，很有趣。

看完此文，我也有了一种想说说安全领域的BDA的冲动。

BDA天然可以应用于SOC/SIEM，而SIEM未来的一个技术发展趋势就是Securiy-BDA, 即SBDA。SBDA的数据处理过程架构也跟上面的类似，简单地可以理解为数据获取、数据整理、数据实时分析、数据存储、数据检索、数据历史分析、数据可视化。在每个方面，都已经涌现出了在安全领域的创新者。

Splunk，一个引领未来IT数据分析的公司，而不仅仅是安全数据分析。他们的架构实现了一套自己的mapreduce和数据存储的方案，近来，他们开始基于hadoop进行数据存储架构的迁移。

NitroSecurity，在新的架构中已经开始拥抱NoSQL，推出了自己的一个集成了RMDB和NoSQL DB的混合型存储架构——NitroEDB。

ZettaSet，是一个startup公司。他们基于开源的BDA方案推出了一个面向IT数据分析的架构，其核心就是Hadoop，并提出了一个Security DW（数据仓库）。该公司刚融资300万美元，Zettaset的其中一个use case就是SIEM。

上面，我们说了几个基于BDA做SIEM类安全解决方案的新兴公司，下面我们看看在其他安全领域的BDA吧。

首先，我们要回答，除了SIEM，还有哪类安全需要BDA？我要说，很多，先说说DPI+DFI类的产品吧。

现在一个很重要的DPI/DFI趋势就是Full Packet Capture/Inspection（全包捕获/分析），这意味着天量的数据存储和分析，BDA正好派上用场。NetWitness是这方面的佼佼者。Fluke也在做这方面的东西，叫做Time Machine（时光机）。

基于海量数据的DPI/DFI技术，衍生了大量的新兴产品类型，从APT检测、到0day/恶意代码分析、网络取证分析，到网络异常流量检测、安全情报分析、用户行为分析，等等。

另外，Forrester给出了一个NAV的产品类型，其中就很强调海量数据的可视化/可见性。

还有一个做Forensics的公司值得一提，那就是Palantir。这个公司不是一个单纯的安全领域的BDA公司，而是一个更加专注于通用的BDA的公司，但是他们有一套专门针对CyberSecurity取证的解决方案，看过之后绝对令你震撼，感觉就像是在看好莱坞大片。

可以去看看最近几年国际上在安全领域的公司的选秀和评比，你就会发现很采用了BDA技术的安全startup公司。

-----------------------------------

当我们基于BDA来看整个SOC/SIEM领域，我们会发现，BI（商业智能）、SA（态势感知）、SI（安全智能）、DM（数据挖掘）、ECA（事件关联分析）、IV（信息可视化）都全然有了一套不同的思维模式。

毫无疑问，BDA将会是支撑我们信息时代的未来。