大数据，一个长期而具有挑战性的时代

为了从安全的角度来对付“大数据”，企业应该怎么做？很多企业会希望整合大量不同的数据源，但大部分企业没有这样做的原因在于：这是一个长期而具有挑战性的过程。

为了利用大数据来加强企业信息安全，我们需要部署哪些技术和流程？日志管理？SIEM部署？我们需要进行什么样的培训？保护数据中心需要怎么做？在本文中，笔者将提供现实的建议，让企业信息安全团队知道他们必须部署什么样的技术以及必须部署什么样的流程以充分利用大数据。需要大数据学习视频资料可以关注我奇特文章，你会找到组织的

移动互联、社交网络、电子商务等极大地拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大，大数据应用随之迅猛发展。但与此同时，国内外数据泄露事件频发，用户隐私受到极大挑战，在数据驱动环境下，网络攻击也更多地转向存储重要敏感信息的信息化系统。在此背景下，安全已成为影响大数据应用发展的重要因素之一，大数据安全防护成为大数据应用发展的一项重要课题。

 

大数据应用安全挑战

大数据具有容量大、类型多、价值高、速度快的4V特性。由于大量数据集中存储，一次成功攻击所导致的损失巨大，因此大数据应用更容易成为攻击目标。同时，大数据时代数据源多样化，数据对象范围与分布更为广泛，对数据的安全保护更为困难。大数据应用采用全新的Hadoop处理架构，内在安全机制仍不完善，因此在推动大数据技术应用时面临着很多安全风险和挑战，具体包括：第一，用户隐私泄露问题随着大数据技术应用的深入将更为严重。第二，大数据应用信息安全暴露点增多。第三，大数据应用中数据往往穿越原有系统数据保护边界，数据属主与权限随之发生迁移，导致原有数据保护方案失效。第四，大数据应用存在大量外界数据接口，加大了数据安全风险。第五，大数据引入Hadoop等新的技术体系，带来新的安全漏洞与风险。

此外，大数据应用仍面临传统IT系统中存在的安全技术与管理风险，流量攻击、病毒、木马、口令破解、身份仿冒等各类攻击行为对大数据应用仍然有效，系统漏洞、配置脆弱性、管理脆弱性等问题在大数据环境中仍然存在。

大数据应用安全对策

大数据应用的核心资源是数据，对敏感数据的安全保护成为大数据应用安全的重中之重。同时大数据运行环境涉及网络、主机、应用、计算资源、存储资源等各个层面，需要具备纵深的安全防护手段。因此，面对上述大数据应用的安全挑战，在进行大数据应用安全防护时应注重两大核心：隐私保护与计算环境安全防护。

其一，通过重构分级访问控制机制、解构敏感数据关联、实施数据全生命周期安全防护，增强大数据应用隐私保护能力。

大数据应用中往往通过对采集到的数据进行用户PII(Personal Identifiable Information，个人可标识信息)与UL(User Label，用户标签)信息分析，部分大数据应用进一步分析PII与UI关联信息，从而进行定向精准营销等应用，这类应用对隐私侵害的影响最大，因此PII与UL两者关联信息是大数据隐私保护的重点，同时由于PII直接关联各类用户信息，也是大数据隐私保护的重点。

在大数据隐私保护中，应基于PII与UL等数据的敏感度进行分级，进而重构数据安全访问控制机制。将原始数据、UL数据、PII数据及PII与UL关联数据按安全等级由低到高进行分类，并根据安全需求实施用户身份访问控制、加密等不同等级安全策略，限制数据访问范围。同时在大数据运营中应尽可能实现PII数据与个人属性数据的解构，将PII数据与UL数据分开存储，并为PII数据建立索引，将UL与PII的关联通过索引表完成，黑客即使获得UL信息，也无法获得用户的PII信息及对应关系，同时对索引表进行加密存储，黑客即使获得索引表，也无法得到用户的PII信息。

在对数据进行分级与解构的基础上，还应对数据实施全生命周期的安全防护。重点加强数据接口管控，对数据批量导出接口进行审批与监控，对数据接口进行定期审计与评估，规范数据接口管理，且在数据流出时对敏感数据进行脱敏处理。同时采用安全通信协议传输数据，如SSL/TLS、HTTPS、SFTP等，并对重要数据的传输根据需要进行加密。在数据销毁时，应清除数据的所有副本，保证用户鉴别信息、文件、目录和数据库记录等资源所在的存储空间被释放或再分配给其他用户前，得到完全清除。

其二，做好大数据应用计算平台、分布式探针、网络与主机等基础设施安全防护，提升大数据计算环境安全防御水平。

大数据计算环境包括网络、主机、计算平台、分布式探针等，针对各层面面临的安全风险，应采取如下安全对策：

首先，加固大数据计算平台，提升计算环境安全性。引入Kerberos，建立KDC安全认证中心，需要部署多个KDC，规避单点缺陷;基于Kerberos方式进行访问控制与授权;对所有元数据进行存储加密;在性能允许的情况下可借助KMS等工具对HDFS原始数据进行透明加密，同时配置Web控制台和MapReduce间的随机操作使用SSL进行加密，配置HDFS文件传输器为加密传输。

其次，加强各类大数据应用探针的安全防护，防止源端数据泄露或滥用。对探针设备进行安全加固，设置安全的登录账号和口令，及时更新系统补丁，设置防病毒与入侵检测;对远程操作进行严格访问控制，限制特定IP地址访问;对探针登录与操作行为进行细粒度审计;对存储在本地的数据进行加密保护;在探针公网出口实施异常流量监控与DDoS攻击防护。

最后，加强对大数据系统网络、主机、终端等基础设施运行环境的安全防护。应采用传统安全防护手段构建纵深安全防护体系，在网络层面进行安全域划分，部署边界访问控制、入侵检测/防御、异常流量监控、DDoS攻击防御、VPN等安全手段;在主机层面部署入侵检测、漏洞扫描、病毒防护、操作监控、补丁管理等安全手段;在终端层面部署准入控制、终端安全管理、漏洞扫描、病毒防护等安全手段。此外，应构建大数据统一安全管控、组件监测、资源监测等基础安全服务设施，对大数据平台主机、网络、大数据组件、租户应用等数据进行监控分析，实现大数据平台及时预警、全面分析、快速响应的安全运营能力。

大数据应用的新特点带来了新的挑战，隐私保护以及数据安全是大数据应用安全防护的重中之重，同时构建涵盖网络、主机、终端、应用等各层面基础设施的纵深安全防御体系也是其安全防护的重要方面。大数据应用服务提供商应根据“三同步”原则，在设计、建设、运营等阶段同步考虑大数据安全防护技术与方案，构建日益完善的大数据安全防护体系，进而持续推动大数据应用发展。

大数据技术是把双刃剑，结果取决于技术的使用者及其目的。

“大数据分析是一个工具，不仅可以提升企业正在做的东西，同时也可以做以前无法做的东西，比如大型企业的取证问题。”赵粮表示，“取证过程需要抓取所有的数据包和模式。在大数据之前，通过手工的方式需要耗费很长时间，因此企业很难做到。甚至一年前的数据很少有人能够找到。

但是在大数据时代，你每发现一个问题时候都可以向前回溯两三年甚至更长时间的数据，从而确认以前是否已经受到攻击，哪些部门曾受到攻击。”

绿盟科技规划经理刘淑玲在接受本报记者采访时表示，大数据分析帮助企业加强安全能力的同时，还可以建立信誉评估机制，对海量信息做关联分析还能准确感知国家信息安全态势。他认为国内一些行业也在尝试，但尚没有成功案例。

事实上，一些安全厂商已经在身体力行了。周涛向记者透露，启明星辰在大数据研究上重视宏观网络感知和微观威胁检测两方面：“首先是宏观安全状态感知，要在广域网分布式计算产生的大量检测设备的基础上，评估广域网的安全态势。如果有异常系统要报警，甚至还要预测异常的发展。”周涛说，在微观层面，“启明星辰更主要的是研究APT攻击。恶意代码的隐蔽性越来越好，攻击途径越来越多。黑客如何从微观领域获得大量数据来获取攻击信息，如何通过这种局部的攻击数据来构筑整个攻击场景”。

在安全态势感知上，启明星辰建立起一系列安全基本指标模型，“在海量数据采集的基础上，从原始数据中进行二次提取，并且建立一些指标，将其分为基础指标、应用层指标等多种类型，然后基于指标之间的关联分析、每个指标的变化状况，对宏观网络安全态势做出判断。”周涛透露，这项研究在一些城域网安全项目中已经得到成功应用。