“小沃”为客户开发项目中经常遇到开发后的平台软件系统产品实际运营中效果不是太好，“小沃”也是一个刨根问底的工作狂，所以收集了对应各行业的市场调研报告进行分析，一方面可以精准的了解客户开发需求；另一方便也是能为客户提供相关建议，避免不必要的投资。所以萌生了每天为大家分享各行业市场调研报告的想法，希望能给大家带来方便。
今天“小沃”就跟各位朋友分享下"2018年中国互联网行业大数据安全"！
记不住的可以收藏或者拉倒页尾有下载原版文件方式哦！（此文只截取原文中部分数据，如需要原文件，请按文章尾部进行操作）
麻烦大家多多关注帮忙转发，谢谢大家支持！
一、对大数据安全的认识和思考
大数据在数量规模、处理方式、应用理念等方面都呈现了与传统数据不同的新特征。大数据是具有体量大、结构多样、时效强等特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；大数据的应用强调以新理念应用于辅助决策、发现新知识，更强调在线闭环的业务流程优化。从安全视角看，大数据这些新特性，产生了哪些影响？我们认为：
（一）大数据已经对经济运行机制、社会生活方式和国 家治理能力产生深刻影响，需要从"大安全"的视角认识和 解决大数据安全问题
大数据发展过程中，资源、技术、应用相依相生，以螺旋式上升的模式发展。无论是商业策略、社会治理、还是国家战略的制定，都越来越重视大数据的决策支撑能力。但也要看到，大数据是一把双刃剑，大数据分析预测的结果对社会安全体系所产生的影响力和破坏力可能是无法预料和提前防范的。例如，美国一款健身应用软件将用户健身数据的分析结果在网络上公布，结果涉嫌泄露美国军事机密，这在以往是不可想象的。未来，基于大数据的智能决策将会在经济运行、社会生活、国家治理方面发挥更重要的作用，大数据可能会对国家"11 种安全"的方方面面产生更加深远的影响。
因此，必须从"大安全"的视角审视大数据安全问题，必须站在国家总体安全观的高度，打破传统的重技术的安全保护思维模式，建立涉及经济、法律、技术等多角度全方位的大数据安全保障体系。
（二）大数据正逐渐演变为新一代基础性支撑技术，大数据平台的自身安全将成为大数据与实体经济融合领域安 全的重要影响因素
目前来看，大数据正在成为一种通用的数据处理技术，除推动人工智能、虚拟现实等新兴信息技术应用创新之外，互联网、大数据通过与实体经济的深度融合，正加速推进传统 制造业向数字化、网络化、智能化发展。然而，在信息化和 工业化融合业务繁荣发展的背后，安全问题如影随形。针对大数据平台的网络攻击手段正在悄然变化，攻击目的已经从单纯地窃取数据、瘫痪系统转向干预、操纵分析结果，攻击效果已经从直观易察觉的系统宕机、信息泄露转向细小难以察觉的分析结果偏差，造成的影响可能从网络安全事件上升到工业生产安全事故。目前，传统基于监测、预警、响应的 网络安全技术难以应对上述攻击变化，需要进行理念创新，针对不断变化演进的网络攻击形态，设计建构更加完善的大 数据平台安全保护体系，为上层跨行业跨领域的业务应用提 供基础性安全保障。
（三）大数据时代，数据在流动过程中实现价值最大化， 需要重构以数据为中心、适应数据动态跨界流动的安全防护 体系
大数据时代，数据作为一种特殊的资产，能够在流通和使用过程中不断创造新的价值。因此，在大数据应用场景下，数据流动是"常态"，数据静止存储才是"非常态"。同时，可以预见到，未来大数据业务环境将更加开放，业务生态将更加复杂，参与数据处理的角色将更多元，系统、业务、组织边界将进一步模糊，导致数据的产生、流动、处理等过程比以往更加丰富和多样。数据的频繁跨界流动，除可能导致传统的数据泄露风险外，还会引发新的安全风险。特别是在数据共享环节中，传统数据访问控制技术无法解决跨组织的数据 授权管理和数据流向追踪问题，仅靠书面合同或协议难以实现对数据接收方的数据处理活动进行实时监控和审计，极易 造成数据滥用的风险，最典型的案例即是今年曝光的"剑桥分 析"事件。未来，数据共享和流通将成为刚性业务需求，传统 的静态隔离安全保护方法将彻底不能满足数据流动安全防 护的需求，必须通过动态变化的视角分析和判断数据安全风 险，构建以数据为中心的动态、连续的数据安全防护体系。
（四）大数据推动数字经济新业态新模式蓬勃发展，广大民众却面临享受便捷化泛在化信息服务与保护个人信息 权利之间的两难抉择
近年来，我国网络购物、移动支付、共享经济等数字经济新业态新模式发展迅猛，基于互联网、移动互联网、物联网的信息服务已经渗透到社会生活的方方面面，为广大民众 提供便捷、高效、全天候的服务。以普惠金融为例，利用大数据对个人数据的挖掘和分析，能够帮助金融科技公司更好的理解用户需求，提供个性化定制服务；利用大数据进行金融风险控制，能够实现流水线操作，减少经营成本，提高服务效率，提升用户体验。然而，用户享受便捷服务的代价是出让自己的个人信息权利。每日推荐、 个人日报、免押租车等信息服务，都是基于大数据技术对用户个人数据进行挖掘分析，形成用户画像，进而提供的定制化服务。但大数据应用场景下，无所不在的数据收集技术、专业化多样化的数据处理技术，使得用户难以控制其个人信息的收集情境和应用情境，用户对其个人信息的自决权利自然被削弱。特别是，企业间的数据共享日益频繁，利用大数据的超强分析能力对多源数据进行处理，能够将经过匿名化 处理的数据再次还原，导致现有数据脱敏技术"失灵"，直接威胁用户的隐私安全。
综上，大数据安全是涉及技术、法律、监管、社会治理 等领域的综合性问题，其影响范围涵盖国家安全、产业安全和个人合法权益。同时，大数据在数量规模、处理方式、应用理念等方面的革新，不仅导致大数据平台自身安全需求发生变化，还带动数据安全防护理念随之改变，同时引发对高水平隐私保护技术的需求和期待。
二、大数据安全技术总体视图
如前所述，大数据安全是一个跨领域跨学科的综合性问题，可以从法律、经济、技术等多个角度进行研究。
大数据安全技术体系分为大数据平台安全、数据安全和个人隐私保护三个层次，自下而上为依次承载的关系。大数据平台不仅要保障自身基础组件安全，还要为运行其上的数据和应用提供安全机制保障；除平台安全保障外，数据安全防护技术为业务应用中的数据流动过程提供 安全防护手段；隐私安全保护是在数据安全基础之上对个人敏感信息的安全防护。
大数据平台安全是对大数据平台传输、存储、运算等资源和功能的安全保障，包括传输交换安全、存储安全、计算安全、平台管理安全以及基础设施安全。
传输交换安全是指保障与外部系统交换数据过程的安全可控，需要采用接口鉴权等机制，对外部系统的合法性进行验证，采用通道加密等手段保障传输过程的机密性和完整性。存储安全是指对平台中的数据设置备份与恢复机制，并采用数据访问控制机制来防止数据的越权访问。计算组件应 提供相应的身份认证和访问控制机制，确保只有合法的用户或应用程序才能发起数据处理请求。平台管理安全包括平台组件的安全配置、资源安全调度、补丁管理、安全审计等内容。此外，平台软硬件基础设施的物理安全、网络安全、虚拟化安全等是大数据平台安全运行的基础。
（二）数据安全
数据安全防护是指平台为支撑数据流动安全所提供的安全功能，包括数据分类分级、元数据管理、质量管理、数据加密、数据隔离、防泄露、追踪溯源、数据销毁等内容。
大数据促使数据生命周期由传统的单链条逐渐演变成为复杂多链条形态，增加了共享、交易等环节，且数据应用 场景和参与角色愈加多样化，在复杂的应用环境下，保证国家重要数据、企业机密数据以及用户个人隐私数据等敏感数据不发生外泄，是数据安全的首要需求。海量多源数据在大数据平台汇聚，一个数据资源池同时服务于多个数据提供者和数据使用者，强化数据隔离和访问控制，实现数据"可用不 可见"，是大数据环境下数据安全的新需求。利用大数据技术对海量数据进行挖掘分析所得结果可能包含涉及国家安全、经济运行、社会治理等敏感信息，需要对分析结果的共享和披露加强安全管理。
（三）隐私保护
本文所提的隐私保护是指利用去标识化、匿名化、密文计算等技术保障个人数据在平台上处理、流转过程中不泄 露个人隐私或个人不愿被外界知道的信息。隐私保护是建立在数据安全防护基础之上的保障个人隐私权的更深层次安全要求。然而，我们也意识到大数据时代的隐私保护不再是狭隘地保护个人隐私权，而是在个人信息收集、使用过程中保障数据主体的个人信息自决权利。实际上，个人信息保护已经成为一个涵盖产品设计、业务运营、安全防护等在内的体系化工程，不是一个单纯的技术问题。
三、大数据安全面临的技术问题和挑战
大数据安全威胁渗透在数据生产、采集、处理和共享等大数据产业链的各个环节，风险成因复杂交织；既有外部攻击，也有内部泄露；既有技术漏洞，也有管理缺陷；既有新技术新模式触发的新风险，也有传统安全问题的持续触发。
（一）平台安全问题与挑战
1、大数据平台在 Hadoop 开源模式下缺乏整体安全规划， 自身安全机制存在局限性
目前，Hadoop 已经成为应用最广泛的大数据计算软件平台，其技术发展与开源模式结合。Hadoop 的最初设计是为了管理大量的公共 web 数据，假设集群总是处于可信的环境中，由可信用户使用的相互协作的可信计算机组成。因此 最初的 Hadoop 没有设计安全机制，也没有安全模型和整体的安全规划。随着 Hadoop 的广泛应用，越权提交作业、修改 JobTracker 状态、篡改数据等恶意行为不断出现，Hadoop 开源社区开始考虑安全需求，并相继加入了 Kerberos 认证、 文件 ACL 访问控制、网络层加密等安全机制，这些安全功能 可以解决部分安全问题，但仍然存在局限性。在身份管理和 访问控制方面，依赖于 Linux 的身份和权限管理机制，身份管理仅支持用户和用户组，不支持角色；仅有可读、可写、可执行三个权限，不能满足基于角色的身份管理和细粒度访 问控制等新的安全需求。安全审计方面，Hadoop 生态系统 中只有分布在各组件中的日志记录，无原生安全审计功能，需要使用外部附加工具进行日志分析。另外，开源发展模式 也为 Hadoop 系统带来了潜在的安全隐患。企业在进行工具 研发的过程中，多注重功能的实现和性能的提高，对代码的质量和数据安全关注较少。因此，开源组件缺乏严格的测试管理和安全认证，对组件漏洞和恶意后门的防范能力不足。 据Common Vulnerabilities and Exposures （ 以 下 简 称 "CVE"）漏洞列表显示，从 2013 年到 2017 年，Hadoop暴露出来的漏洞数量共计 18 个，其中有 5 个是关于信息泄 露的漏洞，并且漏洞数量逐年增长，这五年的具体漏洞数量 如图所示。
2、大数据平台服务用户众多、场景多样，传统安全机 制的性能难以满足需求
大数据场景下，数据从多个渠道大量汇聚，数据类型、用户角色和应用需求更加多样化，访问控制面临诸多新的问题。首先，多源数据的大量汇聚增加了访问控制策略制定及授权管理的难度，过度授权和授权不足现象严重。其次，数据多样性、用户角色和需求的细化增加了客体的描述困难，传统访问控制方案中往往采用数据属性（如身份证号）来描述访问控制策略中的客体，非结构化和半结构化数据无法采取同样的方式进行精细化描述，导致无法准确为用户指定其可以访问的数据范围，难以满足最小授权原则。大数据复杂的数据存储和流动场景使得数据加密的实现变得异常困难，海量数据的密钥管理也是亟待解决的难题。
3、大数据平台的大规模分布式存储和计算模式导致安 全配置难度成倍增长
开源 Hadoop 生态系统的认证、权限管理、加密、审计等功能均通过对相关组件的配置来完成，无配置检查和效果评价机制。同时，大规模的分布式存储和计算架构也增加了 安全配置工作的难度，对安全运维人员的技术要求较高，一旦出错，会影响整个系统的正常运行。
4、针对大数据平台网络攻击手段呈现新特点，传统安全监测技术暴露不足
大数据存储、计算、分析等技术的发展，催生出很多新型高级的网络攻击手段，使得传统的检测、防御技术暴露出严重不足，无法有效抵御外界的入侵攻击。传统的检测是基 于单个时间点进行的基于威胁特征的实时匹配检测，而针对大数据的高级可持续攻击（APT）采用长期隐蔽的攻击实施方式，并不具有能够被实时检测的明显特征，发现难度较大。 此外，大数据的价值低密度性，使得安全分析工具难以聚焦 在价值点上，黑客可以将攻击隐藏在大数据中，传统安全策略检测存在较大困难。因此，针对大数据平台的高级持续性威胁（APT）攻击时有发生，大数据平台遭受的大规模分布 式拒绝服务（DDoS）攻击屡见不鲜。Verizon 公司《2018 年数据泄露调查报告》显示，48%的数据泄露与黑客攻击有 关，其中，DDoS、钓鱼攻击以及特权滥用是主要的黑客攻 击方式，具体数据如图所示。
（二）数据安全问题和挑战
除数据泄露威胁持续加剧外，大数据的体量大、种类多 等特点，使得大数据环境下的数据安全出现了有别于传统数 据安全的新威胁。
1、数据泄露事件数量持续增长，造成的危害日趋严重
大数据因其蕴藏的巨大价值和集中化的存储管理模式 成为网络攻击的重点目标，针对大数据的勒索攻击和数据泄露问题日趋严重，重大数据安全事件频发。
2、数据采集环节成为影响决策分析的新风险点
在数据采集环节，大数据体量大、种类多、来源复杂的特点为数据的真实性和完整性校验带来困难，目前，尚无严格的数据真实性、可信度鉴别和监测手段，无法识别并剔除虚假甚至恶意的数据。若黑客利用网络攻击向数据采集端注入脏数据，会破坏数据真实性，故意将数据分析的结果引向预设的方向，进而实现操纵分析结果的攻击目的。
3、数据处理过程中的机密性保障问题逐渐显现
数字经济时代来临，越来越多的企业或组织需要参与产 业链协同，以数据流动与合作为基础进行生产活动。企业或组织在开展数据合作和共享的应用场景中，数据将突破组织和系统的边界进行流转，产生跨系统的访问或多方数据汇聚进行联合运算。保证个人信息、商业机密或独有数据资源在 合作过程中的机密性，是企业或组织参与数据共享合作的前提，也是数据有序流动必须要解决的问题。
4、数据流动路径的复杂化导致追踪溯源变得异常困难
大数据应用体系庞杂，频繁的数据共享和交换促使数据 流动路径变得交错复杂，数据从产生到销毁不再是单向、单路径的简单流动模式，也不再仅限于组织内部流转，而会从一个数据控制者流向另一个控制者。在此过程中，实现异构网络环境下跨越数据控制者或安全域的全路径数据追踪溯源变得更加困难，特别是数据溯源中数据标记的可信性、数据标记与数据内容之间捆绑的安全性等问题更加突出。2018 年 3 月的"剑桥分析"事件中，Facebook 即是因为对第三方使用数据缺乏有效的管理和追责机制，最终导致 8700 万名用户资料被滥用，还带来了股价暴跌、信誉度下降等严重后果。
（三）个人隐私安全挑战
大数据应用对个人隐私造成的危害不仅是数据泄露，大数据采集、处理、分析数据的方式和能力对传统个人隐私保 护框架和技术能力亦带来了严峻挑战。
1、传统隐私保护技术因大数据超强的分析能力面临失效的可能
在大数据环境下，企业对多来源多类型数据集进行关联分析和深度挖掘，可以复原匿名化数据，进而能够识别特定个人或获取其有价值的个人信息。在传统的隐私保护中，数据控制者针对单个数据集孤立地选择隐私保护技术和参数来保护个人数据，特别是利用去标识、掩码等技术的做法，无法应对上述大数据场景下多源数据分析挖掘引发的隐私泄露问题。
2、传统隐私保护技术难以适应大数据的非关系型数据库
在大数据技术环境下，数据呈现动态变化、半结构化和非结构化数据居多的特性，对于占数据总量 80%以上的非结构化数据，通常采用非关系型数据库（NoSQL）存储技术完 成对大数据的抓取、管理和处理。而非关系型数据库目前尚 无严格的访问控制机制及相对完善的隐私保护工具，现有的隐私保护技术，如去标识化、匿名化技术等，多适用于关系 型数据库。
今天的“2018年中国互联网行业大数据安全”分享就到这里，恭喜你利用碎片时间完成行业知识的学习；
待续。。。。。。
想要下载“2018年中国互联网行业大数据安全”原档的朋友请抓紧时间，该分享于3月27日过期；
小沃告诉你获取方式：
①微信搜素并关注沃邦尼官方微信公众号“Wobony沃邦尼”
②点击下方输入框
③输入“沃邦尼大数据”并发送
即刻享原始文档，小沃将和各行业的朋友一起成长；
来源：网络
图片：网络