亚马逊云科技数据库最新进展：助力应用程序面向未来

关键字: [Amazon Web Services re:Invent 2023, Amazon Aurora, Databases, Redshift, Generative Ai, Vector Similarity Search]

本文字数: 2600, 阅读完需: 13 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> 利用亚马逊云科技数据库助力应用程序面向未来_哔哩哔哩_bilibili

导读

在快速发展的 IT 环境中，规划数据库的长期变化具有挑战性。最佳方法是使用专为变化、灵活性和适应性而设计的数据库。在本讲座中，亚马逊云科技数据库和迁移副总裁 Jeff Carter 和关系数据库副总裁 Rahul Pathak 将介绍保护数据免受任何类型干扰的策略，使贵组织能够轻松采用生成式 AI 等新技术，并通过Zero-ETL 集成使用近乎实时的分析。亚马逊云科技数据库提供了一种易于更改的方法，可帮助充分释放创新潜能。

演讲精华

以下是小编为您整理的本次演讲的精华，共2300字，阅读时间大约是12分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技关系数据库副总裁 Rahul Pathak 欢迎各位参会者参加2023年re:Invent会议，以及关于如何利用亚马逊云科技数据库保护应用程序免受未来影响的相关议题。他承认我们正处于一个变革的时代，特别是在过去的几年里。对于各个组织而言，拥抱变革是取得进步的前提，这一点至关重要。然而，同样重要的是要确保这种变革不会破坏现有的系统和应用。为了实现这一目标，亚马逊云科技在数据库技术领域进行了重大投资，以确保客户能够在不损害现有系统的正常运行和应用的前提下，拥抱变革。客户期望能够可靠地满足当前的业务需求，并为未来做好准备。

Rahul回顾了亚马逊云科技自2009年推出Amazon Relational Database Service (Amazon RDS)以来的发展历程，该服务一直引领着数据库领域的创新。自2011年加入亚马逊云科技以来，他有幸亲身参与了众多数据库创新项目，包括2012年首次在re:Invent上推出的Amazon Redshift。在过去十年里，由于客户的反馈，创新的步伐迅速加快，从而构建了解决实际业务需求和用例的数据库解决方案。云计算基础设施的出现标志着技术解决方案构建方式的重大转变，实现了新的功能，如无缝和弹性的扩展以及按需付费的价格模型。这些创新还催生了像Amazon DynamoDB这样的突破性数据库引擎，在大规模情况下能提供单位数毫秒的响应时间。

尽管数据库技术可以追溯到20世纪60年代，但在过去几年里，创新的速度一直在迅速加快。亚马逊云科技致力于与客户携手创新，以拓展可能性并适应不断变化的世界。

亚马逊云科技在数据库和数据管理领域采用了创新的策略。其核心关注点在于数据，为客户提供一个抽象化的视角来操作和分析数据，而不必担忧底层数据系统复杂性的困扰。亚马逊云科技的愿景是确保所有客户数据，无论其位于何处（如亚马逊云科技的云服务、内部环境、SaaS应用或其他外部位置），都能够实现连接、编目、查询和治理。为了实现这一愿景，亚马逊云科技在其数据库服务组合中不断进行投资。如今，随着新的低代码平台使得建立数据驱动型应用程序的人员范围不再仅限于开发者，将数据与零ETL（提取、转换、加载）无缝集成的能力将变得愈发关键。

在去年，亚马逊云科技为实现这一愿景打下了基础，并在2022年的re:Invent上，实现了Amazon Aurora、Amazon Redshift等数据库服务之间的零ETL集成。这使得数据能够无缝地流动，使用户能够专注于构建应用程序和编写查询，而无需担忧数据移动的复杂性。传统的ETL流程构建和维护成本高昂、繁琐且容易出错。手动调整ETL管道困难重重，可能导致数据视图滞后。采用零ETL的方法可以消除这些问题，使数据在分析和规划过程中实时移动。Rahul表示，亚马逊云科技将持续扩大其在数据库服务组合中的无缝集成，以便客户能够在不关注底层管道的情况下直观地处理数据。

随着各种数据来源相互连接，数据治理变得越来越重要。据Rahul表示，自律带来自由——良好的数据治理能够加速创新。借助亚马逊云科技的Lake Formation和Amazon DataZone，可以实现对数据的有序分类和提供用于协作的数据，遵循既定的规则和政策。诸如Amazon QuickSight Q、Amazon Glue和Amazon SageMaker等工具在简化数据处理的同时，也确保了适当的治理。Swami Sivasubramanian此前宣布了一款用于Amazon Redshift的Amazon Q，它能支持多轮自然语言对话来设计复杂的SQL查询。在运营方面，亚马逊云科技正在大力投资于高级机器学习技术，根据业务目标和工作量模式分析来自动优化数据库性能和成本。例如，新的亚马逊云科技Graviton 3处理器提高了高达25%的计算性能，并且以60%更少的能源消耗来实现相同的性能。。这代表着一个罕见的改善性能、降低成本和减少能源使用的三赢局面。

亚马逊云科技在关系型和非关系型数据库领域的创新速度一直保持着高速状态。在关系型数据库方面，Amazon Aurora现已包含专为高I/O需求工作负载设计的专用IO优化实例、适用于自带许可证(BYOM)场景的SQL Server支持的RDS Custom、PostgreSQL向量列支持以及使用Amazon RDS代理在不到一秒钟内完成快速小版本升级等功能。在非关系型数据库方面，Amazon DynamoDB增加了到S3的增量备份功能，Amazon DocumentDB增加了与SageMaker ML的集成，而Amazon ElastiCache for Redis现在支持Redis 7.1，每个分片可达每秒1000万请求，每个集群可达每秒5亿请求。亚马逊云科技致力于为客户提供综合数据库服务组合，作为稳健的数据基础。针对不同的工作负载，亚马逊云科技使客户能够针对每个任务使用正确的数据库工具。同时，亚马逊云科技关注根据客户业务目标优化性能、成本和互操作性。

而后，亚马逊云科技的非关系型数据库副总裁Jeff Carter上台，详细介绍了亚马逊云科技在数据库服务创新方面的细节。他强调了在关系型和非关系型数据库领域之间优化交易工作负载的17种特制数据库服务的综合产品组合。本周，亚马逊云科技为此产品组合新增了两大服务——Amazon RDS for IBM Db2和Amazon Neptune Analytics。

Amazon RDS for Db2，提供了一个完全托管的Db2数据库引擎，具备Amazon RDS的功能，如轻松配置、扩展、备份、高可用性等。IBM的Minas Merali与Jeff一起上台讨论Db2。她解释说，Db2是一个成熟的关系型数据库，已经在包括金融服务业、制造业、医疗保健等行业支持关键任务工作负载超过30年。根据统计，《财富》100强公司中有76家运行Db2，它作为现代经济的“无形工作马”。主要银行、制造商和其他领先企业信任Db2来运行其最关键的应用程序和大规模工作负载。例如，Db2数据库处理零售商和银行的信用卡交易以及制造供应链数据。

借助Amazon RDS for Db2，客户可在数分钟内创建Db2数据库并利用亚马逊云科技的托管服务。RDS for Db2提供了与其他RDS引擎相同的体验，如配置、扩展、备份、多区域配置等，同时在后台运行经过验证的高性能Db2引擎。现有的Db2用户会发现同样的强大数据库功能，同时利用亚马逊云科技进行基础设施管理。Db2还提供与Oracle数据库的广泛兼容性，使其成为希望将不同工作负载整合到单个数据库平台的客户的理想选择。RDS for Db2可以与亚马逊云科技的服务生态系统（如IAM、CloudWatch、S3等）完全集成，使客户可以轻松地将Db2数据库嵌入到他们在亚马逊云科技上的云原生应用程序中。IBM还宣布支持RDS for Db2在其软件产品组合中，包括IBM Watson、Cognos Analytics、Sterling Order Management等。IBM和亚马逊云科技的联合迁移工具将进一步帮助客户将Db2工作负载从内部环境迁移到亚马逊云科技云。

Jeff宣布推出了亚马逊的第二款全新数据库服务——Amazon Neptune Analytics。这是一款针对亚马逊云科技上的图形数据库品牌新增的特性。自从问世以来，Neptune一直作为亚马逊云科技图形数据库的代表。现有的Neptune数据库服务将被重新命名为Amazon Neptune Database，主要针对欺诈检测和IT安全等领域的交易型图形工作负载进行优化。

与此同时，亚马逊云科技还在现有数据库服务领域进行了大量投资，如Amazon Aurora和Amazon ElastiCache。其中，Amazon Aurora引入了新的无限能力，允许客户通过在Aurora无服务器实例集群中自动分片数据来扩展单个实例。这种能力为客户提供有效的无限扩展，只需支付使用的资源费用。而Amazon ElastiCache for Redis则新增了一种新的无服务器部署模式，能够根据工作负载需求实时扩展和缩小集群资源。这样既消除了对固定预配的需求，又能在高可用性下实现每秒5亿次请求。

此外，为了提高数据处理速度，亚马逊云科技还推出了新的零ETL功能，包括Amazon Aurora PostgreSQL到Amazon Redshift、Amazon RDS for MySQL到Amazon Redshift以及Amazon DynamoDB到Amazon OpenSearch服务。这使得像Netflix这样的企业能将来自多个来源的实时分析合并到Amazon Redshift中，以便更好地了解客户行为。而对于非关系数据，OpenSearch则允许在DynamoDB的半结构化数据上运行各种搜索分析，如文本、向量地理空间搜索。

Gail Frederick，来自Heroku的专家，参加了关于Heroku Postgres与Amazon Aurora PostgreSQL集成的讨论。作为数据库即服务领域的领导者，Heroku如今已管理着全球最大的数据库群之一，每天处理超过600亿次请求。致力于提供卓越的开发者体验，Heroku采用了Amazon Aurora来实现数据库群的现代化升级，以满足人工智能时代的需求。这一迁移计划在一年内完成，旨在提高性能、增加连接数、扩大扩展能力和实现内建复制功能。对于Heroku的客户而言，虽然开发体验依然简洁，但现在已经能够支持更多高级分析和人工智能应用的实现。

在接下来的讨论中，Jeff通过一个运动鞋电子商务实例详细阐述了如何将数据库与生成性人工智能相结合的问题。这涉及到多个协同步骤，包括定义工作流程、配置基本模型以获取数据访问权限、利用诸如Lambda等技术，以及在云端进行稳定的托管。工作流程可能包括与客户互动的步骤，例如验证订单历史记录、查询替换鞋的库存可用性等。有两种类型的人工智能集成可以检索所需数据：简单的事实查找和向量相似性搜索。对于向量搜索，相关文本文档（如退货政策）将被Bedrock等服务摄入，这些服务会自动分割文本并使用所选基础模型（如Claude或Constitutional AI）生成向量嵌入。将这些文档的向量表示加载到具有PG Vector扩展的向量数据库中，如Aurora PostgreSQL。然后，基础模型将结合其能力与企业数据的向量搜索结果，以生成准确的响应。Jeff强调，客户自己的数据对于区分人工智能应用与仅依赖通用基础模型至关重要。

新Amazon RDS for IBM Db2和Amazon Neptune Analytics功能的增强

• Amazon Aurora的无限制扩展能力得到进一步提升，同时Amazon ElastiCache也推出了无服务器版本的产品。

• 现在可以通过零ETL集成将数据从Amazon Aurora PostgreSQL、Amazon RDS for MySQL和Amazon DynamoDB迁移到Amazon Redshift。

• Heroku Postgres现已与Amazon Aurora PostgreSQL实现了集成。

• 提供了通用人工智能工作流的数据库集成范例。

• 在亚马逊云科技的产品组合中，共有7种向量数据库可供选择。

• 在数据库迁移和开源贡献方面，亚马逊云科技正迅速推动创新。

亚马逊云科技致力于为各种工作负载提供最佳数据库选择，同时实现卓越的运营、默认的服务器无服务器架构、经过验证的大规模性能以及广泛的互操作性。数据是区分竞争优劣的关键因素，因此亚马逊云科技将持续在数据库领域进行快速创新，以帮助客户最大限度地从他们的数据中获益。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技的关系数据库副总裁Rahul Pathak对参加re:Invent的与会者表示感谢，特别是对他关于公司关系数据库引擎愿景的演讲表示感激。

亚马逊云科技使得在不影响当前运行状况的情况下拥抱变革和进步。

亚马逊云科技已迅速投资于像Amazon Aurora这样的关系数据库，并支持像PG向量支持这样的尖端功能，以确保客户的工作负载适应未来。

该领导者讨论了Bedrock如何自动分析文档以提取关键信息并将其数值化的过程。

演示了如何使用Amazon Aurora作为向量存储轻松设置Amazon Bedrock知识库的过程。

亚马逊云科技的领导者谈到了一种名为Fleet Advisor的新工具，该工具可以分析数据库并估计迁移工作，以帮助优先进行迁移。

领导者对开幕式演讲者和演示中的优秀合作伙伴表示感谢。

总结

演讲着重强调了在不影响现有基础设施的前提下，积极拥抱数据库技术的革新与进步。亚马逊云科技的愿景是在推动数据库创新的的同时，始终将客户数据的中心地位放在首位。他们的关注焦点在于实现服务间的集成，让用户能够连接、编目、查询和管理所有的数据。借助机器学习，他们将能够根据预设的业务目标优化性能和成本。

亚马逊云科技正不断扩大其交易和分析型数据库的产品线，近日宣布将在RDS上提供IBM Db2服务，并推出了全新的Neptune分析产品。对于现有的服务，如Amazon Aurora，他们也在不断进行改进。通过零ETL技术，他们正在推动服务间的紧密集成，使得数据能够接近实时地流动。此外，亚马逊云科技还在努力使更多的数据库具备向量搜索功能，以便更好地支持AI应用的发展。

演示过程中展示了Amazon Aurora与Bedrock的集成过程，后者能够接收文档、矢量化数据，并将它们存储在Aurora中，以便快速进行向量相似搜索。这使得大型语言模型能够结合客户数据，从而提供更相关的结果。亚马逊云科技致力于为客户提供丰富多样的数据库选择，同时让AI集成变得更为顺畅。

演讲原文

Future-proofing your applications with AWS databases-CSDN博客

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。