深入大数据安全分析（2）：什么是大数据安全分析？
什么是大数据安全分析
Last Updated @ 2015-01-27 by 叶蓬
【关键词】大数据安全分析，大数据
【摘要】大数据安全分析是指将大数据技术应用于安全分析领域。借助当前大数据分析的技术，有助于解决传统安全分析面临的诸多挑战。
在《为什么需要大数据安全分析》一文中，我们已经阐述了一个重要观点，即：安全要素信息呈现出大数据的特征，而传统的安全分析方法面临重大挑战，信息与网络安全需要基于大数据的安全分析。那么，到底什么是大数据安全分析，他与我们一般意义上的大数据分析有何异同之处？让我们先从大数据自身的定义开始。
1 大数据的定义
如何定义大数据？《大数据的冲击》一书将大数据通俗定义为“用现有的一般技术难以管理的大量数据的集合”，并广义地定义为“一个综合性概念，它包括因具备3V（海量/高速/多样，Volume / Variety/Velocity）特征而难以进行管理的数据，对这些数据进行存储、处理、分析的技术，以及能够通过分析这些数据获得实用意义和观点的人才和组织。”
Gartner将大数据定义为“海量、高速、多变的信息资产，需要对它进行经济的、创新性的信息处理从而获得超越以往的洞察力、决策支持能力和处理的自动化”（high volume, velocity and/or variety information assets that demand cost-effective,innovative forms of information processing that enable enhanced insight,decision making, and process automation）。
2 大数据的基本特征
大数据的三个公认的基本特点是3V，即海量、高速和多变。海量是指数据容量越来越大；高速表示需要处理的速度和响应的时间越来越快，对系统的延时要求相当高；多变就要处理各种各样类型的数据，包括结构化的、半结构化的、甚至是非结构化的数据。
IBM在上述三个特点基础之上增加了一个V（Veracity），即“真实性”、“准确性”。IBM认为只有真实而准确的数据才能让对数据的管控和治理真正有意义。
此外，业界还有人总结出其它的大数据特点，例如低价值密度（Value）、存活性（Viability），等等。低价值密度是指大数据中真正有意义的信息含量比重低；存活性是指特定情况下的大数据具有很强的时效性。
3 大数据分析的定义
大数据技术的核心就是大数据分析（Big Data Analysis / Analytics）。一般地，人们将大数据分析定义为一组能够高效存储和处理海量数据、并有效达成多种分析目标的工具及技术的集合。
Gartner将大数据分析定义为追求显露模式检测和发散模式检测，以及强化对过去未连接资产的使用的实践和方法（the practices and technology used to pursue emerging and divergentpattern detection as well as enhance the use of previously disconnectedinformation assets），意即一套针对大数据进行知识发现的方法。
通俗地讲，大数据分析技术就是大数据的收集、存储、分析和可视化的技术，是一套能够解决大数据的4V（海量、高速、多变、低密度）问题，分析出高价值（Value）的信息的工具集合。
4 大数据安全分析
当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心；另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。
于是，业界出现了将大数据分析技术应用于信息安全的技术――大数据安全分析（Big Data Security Analysis / Analytics，简称BDSA），也有人称做针对安全的大数据分析（Big Data Analysis for Security）。
必须特别指出的是，大数据安全分析是指利用大数据技术来进行安全分析，而非我们一般所言的大数据安全（Big Data Security）。大数据安全，通常是指研究如何保护大数据自身的安全，包括针对大数据计算和大数据存储的安全性。
以上，也阐释了大数据和安全的两个连接关系，即基于大数据技术的安全和大数据自身的安全。这两者是两个不同的领域，本文探讨的是前者，即基于大数据技术的安全，本质上就是大数据技术的一种在安全领域的应用。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
必须强调的是，对于大数据安全分析而言，最关键的不在于大数据本身，而在于对这些数据的分析方法。大数据安全分析可以用到大数据分析的所有普适性的方法和技术，但当应用到网络安全领域的时候，还必须考虑到安全数据自身的特点和安全分析的目标，这样大数据安全分析的应用才更有价值。例如，在进行异常行为分析，或者恶意代码分析和APT攻击分析的时候，分析模型才是最重要的。其次，才是考虑如何利用大数据分析技术（例如并行计算、实时计算、分布式计算）来实现这个分析模型。
此外，大数据安全分析要产生实际价值还离不开安全分析师【注：后续还会专题阐述】。
5 大数据安全分析平台
大数据安全分析不是一个产品分类，而代表一种技术，一种安全分析的理念和方法。各种安全产品都能够运用大数据安全分析技术去重塑自身。
在一个较为完备的基于大数据安全分析的解决方案中，往往会有一个大数据安全分析平台作为整个方案的核心部件，承载大数据分析的核心功能，将分散的安全要素信息进行集中、存储、分析、可视化，对分析的结果进行分发，对分析的任务进行调度，将各个分散的安全分析技术整合到一起，实现各种技术间的互动。
【参考】
深入大数据安全分析（1）：为什么需要大数据安全分析？
基于大数据分析的安全管理平台技术研究及应用【摘录】
安全大数据的7个V――大数据基础问题与信息安全的交叉探究
《Information Security》谈大数据安全分析
IEEE： 安全领域中的大数据分析