re:Invent 2023 | 从炒作到影响：构建生成式 AI 架构

关键字: [Amazon Web Services re:Invent 2023, Amazon Bedrock, Generative Ai Architecture, Foundation Models, Retrieval Augmented Generation, Responsible Ai, Cloud Infrastructure]

本文字数: 3100, 阅读完需: 16 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> 从炒作到影响：构建生成式 AI 架构_哔哩哔哩_bilibili

导读

生成式 AI 代表当今公司运营方式的范式转变。生成式 AI 使开发人员能够重新构想客户体验和应用程序，同时几乎改变了每个行业。企业正在迅速创新，创建正确的架构，用于安全、经济和负责任地扩展生成式 AI，从而实现业务价值。了解领导者如何实现数据基础的现代化，选择行业领先的基础模型，并在专用加速器上进行部署，充分发挥生成式 AI 的潜力。

演讲精华

以下是小编为您整理的本次演讲的精华，共2800字，阅读时间大约是14分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技的专业服务副总裁Francesca Vasquez热情地欢迎了2023年re:Invent的与会者。她介绍了关于生成式AI的令人兴奋的话题,并强调了这一技术在各个行业中所展现出的惊人能力，例如创建逼真的图像和视频、编写故事、诗歌和代码等。Vasquez强调，生成式AI确实是一个广阔的机会，它将从根本上改变企业、消费者以及每个人之间的运作方式。

尽管承认了围绕生成式AI的巨大炒作，但Vasquez还是概述了她在本次峰会的目标——将这种炒作转化为实际的可衡量的影响，展示公司如何利用生成式AI来构建生产就绪的架构以实现有意义的创新。她详细解释了为什么我们现在已经达到了生成式AI的临界点，这得益于三个关键因素：首先，今天大量可用的数据为生成式AI模型提供了有效的学习所需的大量训练数据；其次，云的高度可扩展计算能力使得训练复杂的生成式AI模型成为可能，这在以前是难以实现的；最后，机器学习方法和技术的重大进步，特别是像transformer这样的深度学习能力架构，已经突破了开发强大生成式AI模型的技术能力。

Vasquez解释说，这些机器学习进步正是使生成式AI成为可能的根源。她与传统的机器学习进行了对比，在传统机器学习中，模型需要花费数月时间进行昂贵的手动数据准备、标注和训练，才能为一个只能执行单一特定任务的系统。

现在，我们可以利用大量的数据来以更先进的方式捕捉和表示知识。驱动领先生成式AI应用的庞大神经网络模型被称为基础模型。这些基础模型由transformer架构驱动，使其能够在大规模未标记数据上进行预训练。这使得模型可以立即用于各种通用任务，并且还可以轻松适应特定的领域或行业，只需要相对较少的数据。

Vasquez详细描述了如何通过简单的提示与这些强大的基础模型进行互动，这些明确的描述性指令引导模型生成我们所期望的精确输出。她指出，提示已成为生成式AI的一种新型用户界面范式，使我们能够指定希望模型创作的内容、期望的输出格式、提供的上下文数据等。

从早期采用者的成功经验中提炼关键观点，Vasquez总结了五大核心设计原则，这些原则正在推动生成式AI架构产生实际影响：

首先，实施生成式AI远比预期的要简单，开发者能在没有专门机器学习专业知识的情况下快速上手。

其次，客户有且需要有模型、框架和服务的选择权，以促进更大的创新，提供更卓越的体验，并产生更广泛的商业影响。

第三，数据仍然是最终的竞争优势，因此制定强大的数据云策略对于最大化生成式AI的价值至关重要。

第四，如同任何先进的科技一样，安全性应从一开始就被视为首要关注和重点。

最后，没有云计算就无法实现可扩展、可靠的生成式AI。云计算提供了构建、部署和有效运行生成式AI应用程序所需的核心基础设施和服务。

为了展示亚马逊云科技如何简化生成式AI的使用，Vasquez展示了Amazon Bedrock。这个全管理的服务通过一次API调用的形式提供了对高性能基础模型的选择。开发者无需管理基础设施——只需指向Bedrock API，就能立即利用最先进的生成性模型的功能。

Bedrock还使得定制自己的私有模型变得容易，只需指向Amazon S3中的一些标记示例即可。该服务负责训练根据您的特定领域或使用案例数据的模型进行调整。Vasquez解释称，Bedrock如何支持检索增强生成，使模型能够结合您的组织数据和文档，产出高度定制、相关的工作成果。

在亚马逊云科技提供的Bedrock基础上，Vasquez强调了其他易于进入的领域，以便利用生成性AI进行构建，例如Amazon CodeWhisper和Party Rock。CodeWhisler为开发者提供AI生成的代码建议，而Party Rock则提供了一个快速创建生成性AI应用程序的有趣平台。

关于客户选择的关键需求，Vasquez详细介绍了亚马逊云科技如何支持访问越来越多的基础模型选项，包括来自合作伙伴（如Anthropic、Cohere、Stability AI）的选项以及亚马逊云科技自己的模型，名为Amazon TITAN的基础模型。Bedrock为选择最适合您应用程序延迟和成本需求的特定大小模型提供了灵活性。

Vasquez提到，随着文本向量嵌入成为准备数据用于检索增强生成的主要方式，它们在准备数据方面变得越来越重要。这就是为什么亚马逊云科技现在直接在诸如Amazon OpenSearch和Amazon PostgreSQL等服务中提供嵌入支持。

尽管非常强大，但Vasquez解释说，基础模型仍然需要手动编程来完成复杂的多步骤任务，如预订航班。这是因为它们无法通过执行特定操作来满足请求。这就是AI代理发挥作用的地方——它们通过调用API并与后台系统集成来扩展基础模型的理由能力。像在亚马逊Bedrock中可以找到的那样完全管理的代理使得创建和协调计划来实现强大的目标变得更加容易。

Vasquez强调,推动负责任的 AI 开发是亚马逊云科技的首要任务。他们采取以人为本的方法,在整个机器学习生命周期中集成负责任的实践。例如,Bedrock 提供 Guardrails 功能,用于实施与组织政策保持一致的安全保障,从而进一步控制模型行为。 更广泛地说,Bedrock 提供许多功能来支持安全、隐私和治理要求。该服务符合 HIPAA 标准并符合 GDPR 合规性。用户内容在传输和静态状态下均已加密。可以使用自定义加密密钥以获得更大控制权。Vasquez重申,您的内容不会被用于改进基础模型或与外部共享。

然后,Vasquez介绍了 Ori Goshen,AI21 Labs 的联合创始人兼联合 CEO,分享他们如何开创最先进的自然语言模型和 AI 系统,以改造各种行业。

Goshen开始时解释说,AI21 Labs 的任务是构建可靠和强大的 AI 系统,以赋能专业人员和企业。他们的模型嵌入在成千上万的应用程序中,涵盖零售、金融服务、医疗保健和教育等行业。 展望两年后,Goshen预测谈话的重点将从大型语言模型转移到 AI 系统。他详细介绍了 AI21 如何通过其 Jurassic 语言模型引领这一转变,这些模型有两种规模——Jurassic-Ultra 用于复杂任务,Jurassic-1M 则实现质量和成本的最佳平衡。

这些模型在文本生成、问答、摘要和分类方面表现优异。例如,一家领先的运动零售商使用 Jurassic 生成定制的产品描述,赋予它们独特的语气、长度和目的。

Goshen展示了通过 Amazon Bedrock 访问 Jurassic 是多么容易。用户只需要指定模型 ID 并提供提示。AI21 还为开发者的方便提供了 Python SDK。

根据常见的客户使用案例,AI21 开发了专为确定性问答、摘要、重写等任务而定制的特定任务模型。戈申解释了这些模型如何超越基础模型,以处理检索增强生成、输入验证和输出评估等复杂性。

他强调了他们基于上下文答案模型在解答具体问题上的优势。这个模型可以验证回应以确保准确性和全面性，从而减少幻觉等常见问题。这对于实际操作至关重要。该模型可以接受自然问题和上下文数据，无需提示工程或微调。

据Goshen表示，客户对他们的任务特定模型的高准确性、更低的成本、缩短的延迟以及使用的便捷性感到非常兴奋。他指出，这些模型非常适合生产环境，因为它们仅适用于定义的任务，不会偏离或被操纵。

例如，Goshen讲述了有关银行行业的案例，他们用新一代聊天机器人改造了他们的客户支持。聊天机器人架构结合了用于分类和重述的Jurassic模型、用于给出有根据回应的Contextual Answers模型以及其他系统的集成，以提供卓越的客户服务。

最后，Goshen赞扬了AI21 Labs与Amazon Web Services之间的紧密工程合作。客户可以在确保安全性、隐私和治理需求得到满足的情况下，访问AI21的生成能力。他强调，通过提供大型、一致的工作负载，Amazon Web Services能够保证吞吐量并扩大规模。Goshen重申，从实验转向采用将推动对可靠性和生产准备性的需求增加，而专为特定任务设计的AI系统最适合满足这一需求。

Vasquez回到了舞台，开始讨论如何构建现代、可扩展的数据架构以最大化生成性AI的价值。她解释道，云已经使公司能够收集比以往更多的数据——许多情况下是TB或PB级别的。为了有效地利用所有这些数据，Vasquez强调，你的策略需要为每个使用案例提供正确的工具，连接所有数据源，并保持端到端的治理。

Amazon Web Services提供了一系列旨在支持完整数据生命周期的广泛数据服务。Vasquez指出，当你投资于构建一个强大的数据基础时，在部署生成性AI功能时的回报将是巨大的。

她强调，尽管基础模型功能强大，但在特定组织和客户方面的详细信息仍然有限。数据对于使生成式AI与实际需求保持一致并发挥其潜力至关重要。Vasquez列出了将数据与基础模型集成的三种主要方法：从头开始开发定制的定制模型；在现有数据上对基础模型进行微调；以及在运行时使用检索扩充生成来提供个性化数据。Vasquez强调了使用标准方法准备文本数据，例如向量嵌入，以便用于检索扩充生成。亚马逊云科技直接在其服务中提供嵌入功能，如Amazon OpenSearch和Amazon PostgreSQL。然而，Vasquez提醒我们，即使基础模型在推理和生成方面表现出色，它们也无法执行预订航班等操作。这是人工智能代理发挥作用的地方，它们可以通过与API和系统的集成来执行任务。完全管理的代理可以扩展基础模型的能力，以创建和协调多步计划。负责任的人工智能是首要任务，Vasquez强调了如Guardrails等功能，这些功能允许实施组织政策来控制模型行为。Bedrock旨在支持开箱即用的健壮安全、隐私和治理要求。最后，Vasquez欢迎Moses Nascimento，Itaú Unibanco的首席技术官，分享他们如何构建世界一流的数据和AI基础设施来推动生成性AI创新。

Nascimento首先介绍了Itaú的背景，这是拉丁美洲最有价值的银行，拥有超过7000万客户，10万名员工，并为巴西服务了100年历史。五年前，他加入Itaú，推动其数字化转型并现代化其数据和分析平台。这包括在法规允许的情况下将运营迁移到亚马逊云科技，并在巴西金融部门采用云计算。Itaú与亚马逊云科技建立了战略合作伙伴关系，以发展其业务并建立下一代数字基础设施和产品。在短短四年内，他们已经现代化了50%以上的系统，代表了他们最具竞争力的服务的70%，同时减少了98%的事故。

Nascimento详尽地阐述了他们如何全面现代化数据架构和管理，以实现敏捷、可扩展性和在业务部门中推动去中心化创新的过程。他们的数据网络设计提供了一个用于安全、治理和隐私的控制面，从而消除了ETL需求，使数据能够一次性接入并在多个地方使用。在存储方面，亚马逊云科技的服务如Amazon S3、Amazon EMR和Amazon Redshift为其提供了基础。业务团队可以通过使用Amazon Athena和Amazon QuickSight等现成工具来进行分析和探索。

基于这些数据，Itaú开发了一个可扩展的AI平台名为Yara，该平台提供了完整的机器学习生命周期框架和工具，包括特征库、风险分析、部署协调和可观察性。Yara充分利用了亚马逊SageMaker和其他亚马逊云科技的构建模块，以自动化和加速AI的创新。

当生成性AI出现时，Itaú遵循相同的原则创建了一个沙盒环境，包括配置的控制面、准备和集成数据层以及模块化的应用层。这允许在各个业务部门中以受控制和安全的方式进行快速实验。纳西米罗分享了他们的法律团队如何使用AI每月解读70,000多个过程，准确率超过99%的例子。为投资客户提供，他们建立了一个AI模型来解释可能影响投资组合的事件并提出缓解策略。他们强调的目标是持续改进他们的平台，以提供更好的日常银行体验。

Vasquez强调了解决生成性AI的潜力需要在经过验证的、云规模的基础设施上建立。她详细介绍了亚马逊云科技的全球覆盖范围——在全球32个地理区域中的102个可用区，超过450个网络服务点。这种无与伦比的规模提供了构建、部署和运行最苛刻应用程序的基础。

亚马逊云科技在过去十年里对定制硬件进行了深入投资，以支持机器学习。例如，亚马逊云科技在12年前就率先推出了云GPU，今天可以支持高达10,000个GPU的大规模模型训练。新的专用芯片如Trainium 2进一步实现了性能突破，为训练基础模型提供了下一世代的EC2实例动力。

Vasquez随后介绍了宝马离线架构负责人Jens Schule，以讨论他们的云架构和对生成性AI的使用。

宝马公司的一位代表，Schule先生，首先描述了该公司对提供卓越体验的热情，无论是驾驶他们的车辆还是使用数字服务。他强调了数字体验需要紧密整合车辆和云端后端。他分享了一些令人印象深刻的统计数据，展示了他们全球范围内的连接车辆生态系统规模：全球2000万辆连接车辆每天产生120亿次请求，代表110TB的数据，同时保持99.95%的可靠性。即将推出的新车型架构在两年后推出时，将使这些数据翻倍。

Schule解释说，优化这个庞大而复杂的后台的唯一方法是进行广泛的自动化。他详细阐述了他们飞轮式的方法——使用诸如亚马逊云科技Trust Advisor和亚马逊云科技Config等工具持续测量云资源，了解优化机会，然后通过编程在所有账户中实施修复。然而，在获得见解和实施阶段，过程出现了故障。因此，宝马公司在亚马逊Bedrock上构建了一个生成式AI助手，用于分析发现、解释问题、建议解决方案，甚至用Python和Terraform实施修复。

Schule在现场展示了这个机器人。在回答关于低EC2利用率的问题时，该助手分析了账户，解释了问题，并提供了调整实例大小的Python代码。此外，它愿意自主实施修复并提供完成后的回调确认。

他概述了无服务器架构，强调了Bedrock如何确保在训练或推理过程中没有数据离开他们的账户。宝马公司的多代理设计允许结合每个任务的专门模型。通过与亚马逊云科技文档的集成以及通过检索增强的生成来获取宝马内部数据的集成，使得该助手能够提供上下文相关且相关的回应。

Schule总结说，这个助手正在帮助宝马公司扩大云计算治理，减少开发人员的手动治理开销，促进全公司范围内的学习，并且易于维护和扩展。其他正在进行的项目包括分析CloudWatch日志和直接检查资源配置。

最后，Schule重申了宝马公司一直是其价值链中早期且热衷于使用人工智能的公司。这个生成性机器人就是将其转化为实际影响的例子。他暗示，随着宝马公司继续利用AI改进工作流程和产品，将会有更多的创新。

总的来说，Vasquez强调亚马逊云科技如何提供一系列服务来支持生成性AI的采用，包括基础模型、基础设施、培训和工具等。在聆听了鼓舞人心的客户案例后，她对于与会者利用亚马逊云科技上的生成性AI进行创新和变革的潜力感到兴奋。接下来，Vasquez感谢大家的参与，并在一场关于如何运用生成性AI实现实际业务影响的富有洞察力的2023re:Invent上结束了演讲。

下面是一些演讲现场的精彩瞬间：

领导热情洋溢地邀请观众们参加2023年的re:Invent。

如今，生成性AI正在改变整个行业，它有能力在各种媒体中创作出令人惊叹的内容。

领导详细解释了如何引导用户，使他们能够明确指导基础模型生成所需的输出。

他们认为，关键在于构建专门的人工智能系统，而不仅仅是制造更强大的模型。

我非常自豪能参与到Itau银行的数字转型过程中，帮助这家拥有超过7000万客户和拉丁美洲最具价值品牌之一的百年老店实现数据和分析平台的现代化。

领导还谈到了Amazon Fire TV和奥迪汽车中的Alexa是如何通过允许客户通过语音控制来提供更好的驾驶体验的。

他们对客户和合作伙伴在亚马逊云科技上如何利用生成性AI表示充满期待。

总结

亚马逊云科技副总裁Francesca Vasquez在re:Invent 2023演讲中强调,通用人工智能有潜力改变各个行业，并强调亚马逊云科技已经为此做好了准备。

演讲中介绍了推动通用人工智能进步的深度学习模型架构的发展。通过使用提示与基础模型进行对话，可以从复杂的输入生成复杂的输出。

亚马逊云科技在这个领域提供了如Amazon Bedrock和SageMaker JumpStart等服务。Bedrock简化了访问基础模型的过程，而JumpStart则实现了更高级的定制。数据是区分化的来源，通过RAG(搜索扩展生成)可以根据组织的数据来组织模型的回答。

推进负责任的AI也是亚马逊云科技的重要课题之一。Bedrock中包含了可以遵循政策的安全保护功能的Guardrails。

演讲中介绍了AI21 Labs、Itaú和BMW等案例，展示了亚马逊云科技的服务和基础设施正在加速通用人工智能的实施。亚马逊云科技将全力支持客户在这个领域取得成功。

演讲原文

From hype to impact: Building a generative AI architecture-CSDN博客

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。