re:Invent 2023 | 简化复杂数据湖环境中的数据安全

关键字: [Amazon Web Services re:Invent 2023, Amazon S3 Access Grants, Data Access Control, Data Governance, S3 Access, Data Security, Data Lake]

本文字数: 900, 阅读完需: 4 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV13C4y1w7DV

导读

随着企业越来越注重数据驱动，对数据的使用案例也日益增多，数据湖技术栈变得更加复杂。这使得保护数据变得复杂，耗费组织的时间和资源，并增加了不必要的监管和合规风险。在这个闪电演讲中，了解如何通过Immuta的数据安全平台简化数据安全策略管理。Immuta采用基于属性的访问控制（ABAC）的一次编写、应用到处方法大幅减少所需策略数量。通过这种方法，您可以实现民主化并提高数据使用率，同时仍满足全球合规标准。本演示由亚马逊云科技合作伙伴Immuta带给您。

演讲精华

以下是小编为您整理的本次演讲的精华，共600字，阅读时间大约是3分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

在视频的起始部分，Immuta的产品总监扎卡里·弗里德曼（Zachary Friedman）指出，客户需要在包括数据湖和仓库在内的混合环境中实施严格的访问控制。他强调，尽管所有数据都存储在Amazon S3中，即使是通过Snowflake、Databricks和Redshift Spectrum等引擎处理，但这给试图在多个平台和数百甚至数千个用户之间实现持续控制的安保团队带来了巨大挑战。

一种解决方案是完全限制对S3数据湖的直接访问，强制所有用户通过Spectrum、Snowflake或Databricks等授权查询引擎进行操作。然而，正如弗里德曼所提醒的，这种方法存在多个局限性。数据科学家在新数据被加载到平台之前无法使用新数据，这导致了分析工作的延迟。除非与授权引擎连接，否则开放源代码工具受到限制。像文件访问这样基本的工作会在商业引擎上产生不必要的计算成本。用户被孤立，为了完成工作，他们需要获得特定平台的访问权限和凭据。

虽然限制访问可以提高安全性，但跨数百个用户、数PB数据和多个位置管理动态、上下文感知的访问策略的复杂性仍然非常高。这种复杂性导致公司根据弗里德曼的说法，不得不构建定制的凭证代理和会话令牌生成器。

接下来，来自Amazon S3团队的休伊（Huey）介绍了在演讲前的两天刚刚推出的S3访问组功能。休伊解释称，这一新功能允许向用户、组和目录而非仅限于数以万计的IAM主体直接授予访问权限。它还以比包含数千行的复杂IAM政策更直观的方式定义权限。在后台，S3访问组负责认证、授权并为批准的访问请求提供临时凭证。通过与亚马逊云科技CloudTrail集成，可提供详细的审计日志。

Huey详细地介绍了Access Groups的使用方法，从而逐步展示了整个过程。首先，根据地区和账户创建访问组实例，这些实例被视为授予逻辑分组的代表。接着，注册用于定义允许哪些权限和访问权限的授予，这可能多达数百个甚至数千个。客户可以通过实例请求访问，一旦获得批准，系统会检查授权并返回临时凭证。之后，客户端可以使用这些凭证直接访问已获批准的S3资源。

正如Huey所描述的那样，Access Groups有助于数据治理团队在一致地控制S3以及Snowflake、Databricks和Redshift等服务的访问（每个服务都有数千名用户）。例如，数据科学家可以被赋予直接从笔记本对S3进行探索性工作的访问权限，这种管理方式与其他平台中的访问控制管理相似。

借助Access Groups，Zachary Friedman还解释了Immuta是如何添加基于属性的访问控制的。这使得能够使用自定义属性来标记身份和数据，以实现覆盖数百个属性的精细、上下文感知的策略。与Amazon Macie的集成使得能够自动基于分类对数据进行标记。所有的活动都会通过CloudTrail进行审计。Immuta提供了一个跨不同服务和平台的统一数据模型和控制平面。

总的来说，这个视频解释了S3 Access Groups和Immuta如何简化、可扩展且一致地为包含数千名用户和大规模数据集的复杂混合云数据平台授予精确的访问权限，同时为数据科学家和其他用户提供灵活性——减少限制、成本和风险。

下面是一些演讲现场的精彩瞬间：

领导者讨论了针对Amazon S3的一项新访问控制功能，旨在混合环境中实现安全数据共享。

尽管限制对S3的直接访问可能对数据科学家和开源工具构成挑战，但管理者表示，传统上，管理S3文件的访问控制一直是一个困难的过程。

为了应对这一挑战，领导者宣布将在亚马逊云科技中引入新的访问授权功能，以实现类似关系数据库的直观且细致的方式来定义访问权限。

演讲者详细解释了这个新功能是如何工作的：通过允许客户端根据授权的授予来请求访问S3存储桶的临时凭证，从而实现访问粒度的精细化管理。

此外，演讲者还探讨了亚马逊云科技如何协助企业管理复杂的数据湖，以及如何为诸如数据科学家等角色提供安全的数据访问途径。

亚马逊的基于属性的访问控制功能允许基于用户身份和数据属性来授予访问权限，从而实现精细化的访问控制策略。

总结

在re:Invent上，亚马逊发表了一篇关于简化复杂数据湖环境中数据安全问题的演讲。演讲的主题围绕公司如何对存储在Amazon S3桶中的数据进行精细化访问控制，以及针对Snowflake、Databricks和Redshift等云计算数据平台的访问控制展开讨论。

首先需要明确的是，尽管S3是大多数分析数据的存储基础，但对S3的直接访问进行限制可能会导致一些问题。数据科学家可能需要等待访问新数据，从而产生不必要的计算成本，并且开源工具也会受到影响。然而，管理S3的访问控制一直以来都是一项具有挑战性的任务。

其次，亚马逊推出了一项新的S3访问授权功能，允许向用户、组和目录授予访问权限。这项功能还以直观、可扩展的授权方式定义权限，而非复杂的IAM策略。此外，S3访问授权可以与亚马逊云科技CloudTrail集成，提供详细的审计日志。

最后，Immuta可以根据S3访问授权实现混合数据环境中对S3和云计算数据平台的访问管理的统一模型。Immuta通过使用身份和数据属性添加基于属性的访问控制。这使得能够对结构化和非结构化数据同时实施精细化的访问控制。

总之，将S3访问授权与Immuta集成可以简化跨复杂混合数据环境执行最小特权数据访问的过程，同时保持安全和可审计性。如今，公司可以通过单个集中控制面来一致地管理对S3和云计算数据平台的访问。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134882866

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。