【引言】本文是深入大数据安全分析系列的第三篇，赶在2月份结束之前首次发表于本人博客，略有仓促，欢迎指正。
大数据安全分析重塑网络安全
v0.91 draft
Last Updated @ 2015-04-19 by Benny Ye
【关键词】大数据安全分析，大数据
【摘要】一旦网络安全遇到大数据安全分析，就必然被深刻地影响并重塑。这种重塑体现在安全防护架构、安全分析体系和业务模式等诸多方面。
安全数据的大数据化、传统安全分析面对新型威胁的缺陷、情境感知和智能安全的发展大势，使得大数据安全分析迅速进入了网络安全领域。而一旦网络安全遇到大数据安全分析，就必然被深刻地影响并重塑。这种重塑体现在安全防护架构、安全分析体系和业务模式等诸多方面。
1 大数据安全分析重塑安全防护架构
1.1 大数据安全分析重塑SIEM和安管平台
在所有网络安全领域中，大数据安全分析对安全管理平台（SOC平台、安管平台）及安全信息与事件分析（SIEM）系统的影响最为深远。
传统的SIEM和安管平台由于其核心的安全事件采集、分析及存储引擎的架构是针对中小数据集合而设计的，在面对大数据的时候运行乏力，难以为继。SIEM和安管平台都具有安全事件（日志）的采集、存储、分析、展示等几个过程，正好与大数据分析的收集、存储、分析和可视化过程完全相同。因此，SIEM和安管平台天然具有应用大数据分析技术的特质。而将传统SIEM和安管平台的安全事件采集、分析及存储引擎更换为大数据分析引擎后，SIEM和安管平台被带入了一个全新的高度，进入大数据时代。
大数据安全分析技术的运用已经成为未来SIEM和安管平台的关键技术发展趋势之一。
1.2 大数据安全分析推动高级威胁检测
传统的安全分析是构建在基于特征的检测基础之上的，只能做到知所已知，难以应对高级威胁的挑战。而要更好地检测高级威胁，就需要知所未知，这也就催生了诸如行为异常分析技术的发展。行为异常分析的本质就是一种机器学习，自动建立起一个正常的基线，从而去帮助分析人员识别异常。面对天量的待分析数据，要想达成理想的异常分析结果，借助大数据分析技术成为明智之举。
同时，为了对抗高级威胁，还需要有长时间周期的数据分析能力，而这正是大数据分析的优势所在。
此外，安全分析人员在进行高级威胁检测的过程中需要不断地对感兴趣的安全数据进行数据勘探，而要针对天量数据实现即席的交互式分析，需要有强大的数据查询引擎，这同样也是大数据分析的优势所在。
1.3 大数据安全分析促进欺诈检测
客户业务的日益复杂和线上业务的不断丰富，使得欺诈检测遭遇了前所未有的挑战。现代的欺诈检测系统大都具备基于行为轮廓的异常检测能力，而对天量的用户、帐号、实体、业务的访问行为信息进行建模绝非易事，大数据技术的引入有助于提升建模过程的速度和准确度。大数据安全分析技术正在重塑欺诈检测系统。
1.4 大数据安全分析增强各类安全产品
除了前面提及的已经显著受到大数据技术影响的安全防护系统之外，很多传统的安全防护系统也同样正在引入大数据安全分析技术。
借助大数据安全分析技术，DLP系统将变得更加智能，不仅能够对已经标定的敏感信息进行检测，还能对用户使用数据的行为过程进行建模，从而针对更多地难以进行简单标定的敏感信息的访问进行异常检测。
借助大数据安全分析技术，通过对DAM系统收集到的海量数据库访问日志进行业务建模，从而识别用户的业务违规，使得DAM系统的价值得到进一步提升。
借助大数据安全分析技术，能够实现针对IAM和4A系统的用户违规智能审计。通过对IAM和4A系统的海量用户访问日志进行建模和机器学习，发现小概率的异常事件。
借助大数据安全分析技术，还能够提升静态应用安全测试（SAST）系统的检测速率，并能够通过高效地聚类/分类等算法更好地寻找应用系统的安全漏洞。
1.5 大数据安全分析激发网络威胁情报分析与协作
随着高级威胁的日益泛滥，尤其是网络空间安全对抗逐步上升到专门组织、国家层面，很多传统的犯罪分析和军事战争的理论及战略战术被不断引入网络空间安全之中。这其中，最显著的一个趋势就是网络威胁情报的兴起。
Gartner认为威胁情报是一种基于证据的知识，包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险，并可以用于通知主体针对相关威胁或危险采取某种响应。
威胁情报最大的好处就是能够直接作用于企业和组织的安全防护设施，实现高效快速的威胁检测和阻断。
但是威胁情报信息的获得绝非易事。专业的威胁情报服务提供商能够采集互联网上的各种数据，既包括浅层WEB，也包括深层WEB，甚至是暗网（Dark Web）的数据，抑或是授权客户的数据，然后基本上都利用大数据分析技术产生有关***者的威胁情报信息。
谁也不可能获得独立获得最全的威胁情报，就像我们的反恐或者犯罪调查一样，各个情报组织间的合作至关重要。网络威胁情报亦是如此。利用大数据分析技术，有的厂商建立起一个威胁情报的分享和协作平台，进行威胁情报的交换，更大限度地发挥情报的价值。
简言之，借助大数据安全分析技术，威胁情报分析与共享这个新兴的安全分析领域获得了突飞猛进的进步，当前正处于聚光灯下。
1.6 大数据安全分析造就大数据安全分析平台
大数据安全分析不仅重塑着传统的安全防护系统，催化着威胁情报，有时候也显性化地表现为一个专有的分析平台。
如前所述，大数据安全分析不是一个产品分类，而代表一种技术，各种安全产品都能够运用大数据安全分析技术。在一个较为完备的基于大数据安全分析的解决方案中，通常会有一个大数据安全分析平台作为整个方案的核心部件，承载大数据分析的核心功能，将分散的安全要素信息进行集中、存储、分析、可视化，对分析的结果进行分发，对分析的任务进行调度，将各个分散的安全分析技术整合到一起，实现各种技术间的互动。此时，一般而言的SIEM、日志管理、DLP、4A等等系统都在这个大数据安全分析平台之下。
2 大数据安全分析重塑安全分析体系
大数据安全分析技术和其它新兴分析技术的崛起，极大地丰富了传统的安全分析体系和方法论。借鉴已故著名数据库专家、图灵奖获得者詹姆士格雷的科学研究范式理论，我们提出了“全范式分析”的全新安全分析体系。
根据科学研究范式理论，詹姆士格雷将人类科研模式的发展历程划分为4个阶段（也叫“范式”，paradigm）。
第一范式：数千年前，科学研究最初只有实验科学，科学家通过经验来解释自然现象。
第二范式：数百年来，科学研究出现了理论科学，运用了各种定律和定理，如开普勒定律，牛顿运动定律，麦克斯韦方程等。
第三范式：近几十年来，对于许多问题，理论分析方法变得非常复杂以至于难以解决，人们开始寻求模拟的方法，这就产生了计算科学。
第四范式：当前，出现了将实验、理论和仿真统一的科研方法，称为数据密集型计算模式。在这种模式中，由软件处理由各种仪器或模拟实验产生的大量数据，并将得到信息或知识存储在计算机中，科研人员只需从这些计算机中分析感兴趣的数据。
我们把科研方法的发展历程，同安全分析方法的发展历程做个对比，就会发现二者存在惊人的相似性：
（1） 安全分析第一范式：尝试、实验。在网络应用尚未大规模普及、网络安全还未成为突出问题的时候，市场上还没有培育出成熟的安全工具和产品，安全分析主要依赖于安全管理人员的经验。目前仍然广泛采用的***测试、安全咨询服务等，仍然是以这种模式运行的。
（2） 安全分析第二范式：模型、特征。随着安全问题的日益普遍，单凭安全管理人员的经验已经无法应对，迫切需要自动化的分析工具，由此产生了***检测系统、防病毒系统和防火墙等安全产品。这些安全产品的共同点就是对网络***行为进行分析，提取不同层面的特征（如网络层连接特征用于防火墙制定ACL规则；应用层内容特征用于提取IDS的匹配规则；文件级特征用于病毒扫描），对网络流量进行实时自动化分析。这类安全产品的关键是对***特征的提取和描述，其本质是对***行为的建模。
（3） 安全分析第三范式：模拟、仿真。随着APT的出现，***变得越来越复杂、特征变化越来越快，以***行为建模为基础的分析方式渐渐难以应对，从而出现了以虚拟执行技术为代表的新型分析技术。这种技术的本质是模拟被***者在遭受***后的反应，这样无需对***行为建模也能检测未知的***。
（4） 安全分析第四范式：大数据安全分析。大数据技术的出现，将安全分析提升到了新的阶段。有了大数据平台的支撑，安全分析人员可以将各类不同类型的数据，如通过***测试得到的漏洞信息、通过传统检测设备产生的报警事件、通过虚拟执行得到的可疑***执行结果，进行大范围的汇总和关联。同时，通过长时间的关联，安全分析人员可挖掘某台主机、某个用户的行为异常，从而实现不基于签名的未知***检测。对于每一条可疑报警，分析人员可以查询与该报警相关的各类数据，从而确定报警真实性、***源，评估***造成的危害。
从上述分析中可以看到，安全分析方法的发展历程与詹姆士格雷概括的科学研究范式间存在着高度对应的关系，从而可以用科学研究范式来类比安全分析方法。而这其中，大数据安全分析技术正代表了最前沿的安全分析第四范式。大数据安全分析是全新的“全范式安全分析”体系的重要组成部分。所谓“全范式安全分析”体系，就是强调要综合利用四种安全分析范式来构建一个完备的安全分析体系。
3 大数据安全分析重塑网络安全业务模式
大数据安全分析的兴起不仅改变了传统的网络安全防护架构、安全分析体系，也在深刻变革现有的网络安全业务模式。最典型地，大数据安全分析直接促进了SECaaS（安全即服务）的发展。包括SIEM、日志分析、欺诈检测、威胁情报在内的多种服务都在积极拥抱大数据安全分析技术。大数据安全分析已成为安全业务模式变革的催化剂。
即便是针对企业和组织内部的大数据安全分析，由于安全与业务的不断融合，以及数据中心和云计算的普及，未来必然要求将大数据安全分析与大数据业务分析进行整合，安全数据不过是企业和组织业务数据的支撑数据之一。在这个发展趋势下，必然涉及到开发、运维、安全团队的交互与协作（DevOpsSec），业务部门与技术部门的融合。大数据安全分析将成为安全与业务融合的催化剂。
4 大数据安全分析重塑网络安全的技术本质
大数据安全分析何以如此深刻地重塑网络安全？从大数据分析（BDA）的技术视角来看，就在于大数据安全分析实现了两个质的飞跃。
（1）可控投入前提下的性能的飞跃：大数据技术的兴起，使得企业和组织能够在可以接受的投入的前提下，实现安全分析性能的飞跃。在大数据分析技术的支撑下，数据采集、数据分析、数据存储、数据勘探的性能有了质的提升。性能的提升，使得原来很多不可能进行的分析工作成为了可能，并且极大提升了分析工具的用户体验。用安全分析师的话来说，“有了大数据分析技术之后，数据分析变得可用了”。
（2）安全分析技术的飞跃：大数据技术的引入，使得安全分析技术从针对样本数据的分析拓展到针对全量数据的分析，从基于特征的匹配分析升级到基于行为的异常分析。受限于技术约束，传统的安全分析大都仅针对样本数据进行分析，并将分析结果推论到剩余的数据集合上。而随着高级威胁和欺诈行为的不断进化，以及安全数据在各个维度的不断增长，越来越需要对全量数据（涵盖并不限于包数据、流数据、事件数据）、甚至是相关的情境数据进行分析。大数据分析有很好的天量数据并行分析架构，能够满足这个需求。同时，大数据分析充分提升了机器学习、乃至深度学习算法运用的可行性，使得安全分析领域能够引入很多过去看来十分“奢侈”的机器学习算法。借助这些基于大数据技术的分析算法，使得我们能够进行行为轮廓建模，学习正常模式，识别异常模式，并在对抗中持续学习，不断进化。通过异常分析，能够更好地应对高级威胁和欺诈，帮助我们从知所已知提升到知所未知、乃至前所未知（Unknown unknowns）。
【致谢】本文关于“全范式安全分析”的体系设计来自于大潘，而“全范式安全分析”的阐述则来自于百川的贡献。在此，一并致以感谢！
【参考】
深入大数据安全分析（2）：什么是大数据安全分析？
深入大数据安全分析（1）：为什么需要大数据安全分析？
基于大数据分析的安全管理平台技术研究及应用【摘录】
安全大数据的7个V——大数据基础问题与信息安全的交叉探究
《Information Security》谈大数据安全分析
IEEE： 安全领域中的大数据分析