re:Invent 2023 | 数据驱动转型：利用亚马逊云科技分析技术奠定数据基础

关键字: [Amazon Web Services re:Invent 2023, Amazon QuickSight, Data Foundation, Data Strategy, Data Analytics, Machine Learning, Generative Ai]

本文字数: 1700, 阅读完需: 10 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1ke411Z7n3

导读

数据是推动当前业务需求的独特优势，同时为未来做好准备。随着公司的转型，需为业务应用程序、新技术创新和数据驱动的业务计划奠定数据基础。与亚马逊云科技 Analytics 副总裁 G2 Krishnamoorthy 一起讨论将分析嵌入应用程序的策略和构建支持业务计划的数据基础的想法。通过新自助服务功能和更简单的构建者体验，可使业务线用户、分析师、科学家和工程师的数据访问民主化。聆听来自阿迪达斯，GlobalFoundries 和加州大学欧文分校等客户鼓舞人心的故事；

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技的分析师副总裁G2 Krishnamoorthy在演讲开始时欢迎观众的到场。尽管现在是会议的晚些时候，但他希望所有人都度过了愉快的re:Invent之旅。

Krishnamoorthy表示，他理解观众们之所以来到这里，是因为他们意识到了利用数据来取悦客户、优化业务和提高员工能力的重要性。然而，他强调，如果预算无限且资源不受限制，这次演讲可能不会提供太多有价值的信息。但对于大多数正在努力保持跟上并寻求创新的组织和个体来说，这个讲座将会非常有帮助。

Krishnamoorthy解释说，他将与来自阿迪达斯、GlobalFoundries和加州大学欧文分校的演讲者一起探讨如何建立一个强大而灵活的数据基础以满足分析需求。他们的目标是帮助简化数据环境，通过轻松访问数据和直观的体验来赋予用户权力，以及用分析和机器学习丰富应用程序。

为了说明背景，Krishnamoorthy将数据与食物进行了类比。他在数字时代指出，数据推动创新就像食物为人们提供能量一样。然而，利用数据的力量是具有挑战性的，就像吃健康饮食一样。每个人都知道他们应该利用数据，就像他们知道应该吃得健康一样，但对大多数组织和个体来说，这并不容易。然而，真正成为数据驱动的组织会带来更快乐的客户、更多的收入和更好的业务成果，就像适当的营养会导致健康和快乐的生活一样。

Krishnamoorthy分享了一个统计数据，即只有四分之一的组织认为他们正在将数据转化为战略资产。他询问这是为什么。他认为其中一个原因是因为许多组织没有采取“逆向工作”的方法。他解释道，在亚马逊云科技，这意味着从专注于创造客户和业务价值的投资项目开始。在建设项目的过程中，你会逐步扩大你的数据基础以支持所需的新功能。

Krishnamoorthy认为你不应该从全面的数据策略或架构开始。逆向工作的哲学是根据当前需求逐步建立专业知识和文化。他表示，即使是最先进的人工智能也需要一个强大的数据基础才能提供商业价值。

亚马逊云科技提供了一套全面的数据分析和机器学习服务，这些服务在设计时就考虑到了统一治理。这些服务是根据客户的需求和成功标准开发的。Krishnamoorthy概述了四个关键领域：建立一个健壮且灵活的数据基础；简化数据景观；授权用户用数据进行创新；以及通过分析和ML丰富每个应用程序。

接下来，Krishnamoorthy介绍了一个阿迪达斯的客户案例。阿迪达斯平台工程副总裁Paul Vassu分享了他们如何为业余青年足球运动员打造一个基于传感器的性能跟踪解决方案。这些传感器可以追踪速度、距离、踢球次数等指标。为了满足教练们的需求，阿迪达斯与亚马逊云科技团队合作进行了反向设计并原型化了一个新解决方案。他们还使用了Amazon Timestream来存储指标，以及MemoryDB for Redis来支持排行榜。通过改进数据管道，他们使用Kinesis Data Streams和Analytics实现了近实时的球员表现数据提供给教练。这个更新后的解决方案已经在欧洲推出，反馈显示在准确性和可靠性方面表现出色。

Krishnamoorthy认为这是一个鼓舞人心的例子，展示了如何通过体育改变生活。然后，他让观众投票，了解他们在创新和维持基本运行上各花费了多少时间。在等待回应时，Krishnamoorthy分享了一个关于数据如何帮助他避免受伤并完成雅典马拉松的个人故事，这是他的人生清单上的一个目标。

查看投票结果后，Krishnamoorthy注意到虽然很大一部分时间用于创新，但仍有很多改进空间。他强调无论你处于什么阶段，都可以逐步建立你的数据基础。

在构建强大的数据策略和基础时，Krishnamoorthy首先讨论了治理。他认为适当的治理并非限制创新，而是提供了有益的约束，就像健康的饮食允许在适度内偶尔放纵一样。亚马逊云科技的DataZone支持受控的数据共享以推动创新。此外，亚马逊云科技还与亚马逊云科技Identity Center集成，以便基于身份和组的属性进行访问控制。例如，只有财务团队成员才能访问本季度的销售数据。这简化了跨Redshift、EMR和SageMaker等数据存储和引擎的访问控制。

Krishnamoorthy随后展示了亚马逊云科技(亚马逊云科技)的Glue数据质量新功能，该功能可以根据历史模式监控数据偏离情况。这使得对季节性糖果销售等指标进行更智能的警报成为可能。此外，他还强调了Amazon Clean Rooms的功能，该功能允许不同组织之间安全地协作敏感数据，而无需复制数据。Krishnamoorthy解释道，差异隐私和协作式ML模型训练的添加如何使Amazon Clean Rooms在保护隐私的数据分析方面更加有用。

接下来，Krishnamoorthy介绍了亚马逊云科技数据服务的整体成本和性能改进。例如，相较于现有的实例，Amazon OR1 for OpenSearch提供了80%更高的索引处理量，同时成本降低了30%。Redshift数据共享现在可写入，允许为ETL和分析设置单独的扩展。EMR Spark性能在过去一年里提高了70%。在亚马逊云科技上采用全管理的Apache Flink和Kafka相比运行开源版本可以节省大量费用。

Krishnamoorthy随后引入了来自GlobalFoundries的Sunil Narayanan来讨论他们如何利用亚马逊云科技从制造数据中解锁价值。Sunil解释了如何将来自各种内部和云源的数据输入到亚马逊云科技数据湖中。他们使用诸如Redshift、Spark和SageMaker等服务来发现优化过程并提供业务决策的信息。例如，他们可以比较不同制造工厂的工艺性能以确定最佳实践。机器学习将缺陷图像分类从手动12小时缩短至仅3分钟。Sunil强调了他们通过亚马逊云科技驱动的数据湖使得高级分析和AI的应用成为可能，从而推动持续改进和未来趋势预测。

Krishnamoorthy接着介绍了“零ETL”未来的概念，讨论了允许在不进行ETL的情况下直接从各种来源访问数据的新集成。例如，现在可以从亚马逊Redshift直接查询MySQL、DynamoDB和Salesforce的数据。Amazon Glue数据目录对Apache Iceberg的支持允许轻松优化表布局以提高查询性能并降低成本。克里希纳穆尔蒂重申了所有这些功能如何有助于打破数据孤岛并减少ETL开销。

第三则客户案例来自于加州大学欧文分校的信息技术副校长Tom Andriola。他阐述了如何运用数据的力量来重塑学生的成功之路。这包括在学生整个学习生涯中整合学生数据，并通过分析结构化和非结构化的洞察来实现个性化的教育体验。

Andriola总结了推动他们发展的三种思维方式的转变。首先，从数据仓库转向数据湖，提供更灵活的整合方式。其次，从数据存储转向数据共享，促进生态系统的合作。第三，从供应商角色转变为战略合作伙伴，与亚马逊云科技共同规划未来的发展方向。

Andriola提供了一个示例，说明了一个协作式的虚拟课堂是如何产生新的交互数据类型的。面对充满未知的未来，需要一个适应性的架构来容纳新的数据。他认为，数据和分析对于组织做出更明智的决策至关重要。

Krishnamoorthy接着讲述了亚马逊云科技如何使数据更容易被访问、理解和协作。亚马逊云科技DataZone中的AI驱动的推荐功能可以通过自然语言生成使用指南和描述。Amazon Q即将应用于Glue和Redshift等数据服务，以提供一个自然语言助手来进行任务和调试。

生成性AI可以自动进行日志分析和报告生成。QuickSight使得创建和分享互动数据故事变得更加简便。Krishnamoorthy展示了一个演示，展示了Amazon Q如何通过在QuickSight中的对话互动来帮助生成文档、SQL查询、分析和数据故事。

总的来说，Krishnamoorthy强调了数据在转型过程中的关键作用。建立一个强大且灵活的数据基础是成为真正数据驱动型组织的核心。亚马逊云科技提供了一套全面、协同工作的分析和服务，以满足不同的数据需求，同时保持简单和创新。

最后，提醒观众利用亚马逊云科技Data Driven Everything等计划来协助策略制定并开始数据之旅。Krishnamoorthy还建议探索亚马逊云科技生成性AI创新中心以及超过150个培训课程，以建立专业知识。

下面是一些演讲现场的精彩瞬间：

领导者热情邀请观众们参加re:Invent，他们对利用数据改进商业运作和提升客户体验充满期待。

逆向工作法意味着从一个有资金支持的商业计划开始，然后逐步构建一个适应当前及未来需求的数据基础。

领导者将亚马逊云科技的策略比喻为健康饮食，运用食物进行类比。

亚马逊云科技提供了无缝的数据访问和创新工具，同时在保持合规性和安全性的基础上。

亚马逊云科技提供了一套全面的服务，从数据库到仓库管理，帮助企业深入了解、整理、保护以及协同共享他们的数据。

阿迪达斯公司的Paul Vassu分享了如何运用亚马逊云科技的技术助力年轻足球运动员评估和提高自己的表现。

亚马逊云科技的人工智能创新中心帮助企业原型设计伟大创意，并培训团队掌握人工智能技能。

总结

在本次亚马逊云科技的re:Invent上，主题聚焦于建立一个强大的数据基础以推动业务转型。演讲者强调了从有资金支持的业务计划入手，逐步扩展数据能力以适应不断变化的市场需求。首先，他谈到了采用灵活的管理策略以及利用诸如亚马逊云科技DataZone和Lake Formation等工具实现安全、广泛的数据访问的重要性。接着，他探讨了如何借助零ETL工具简化仓库、湖泊和应用间的数据集成，消除数据孤岛并保持数据的实时性。此外，他还展示了如何用Amazon Q等生成式人工智能技术为用户带来直观的数据搜索、理解和处理体验。最后，他展示了如何将数据分析融入应用中，从而提供引人入胜的数据驱动体验。

核心观点是公司需要制定一个敏捷且全面的数据战略，以实现实际业务目标为核心。亚马逊云科技提供了丰富的分析和治理服务工具，使得这一目标的实现成为可能。

演讲原文

https://blog.csdn.net/weixin_40272094/article/details/134737432

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。