使用Snowflake和亚马逊云科技构建安全且可扩展的架构

使用Snowflake和亚马逊云科技构建安全且可扩展的架构

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Snowflake， Cloud Native Platform， Generative Ai Services， Data Integration， Snowflake Cortex Services， Amazon Web Services Bedrock Integration]

导读

准备好为您的生成式AI项目注入超级动力了吗？在这个闪电演讲中，探索Snowflake Cortex和Amazon Bedrock这一强大组合如何帮助您构建最灵活、安全和全面的生成式AI架构。了解这些尖端技术如何使客户能够无缝扩展AI工作负载，同时保持顶级安全性。参加本次演讲，探索AI驱动创新的未来，并了解如何利用这对强大组合为您的业务解锁新的可能性。本演讲由亚马逊云科技合作伙伴Snowflake为您呈现。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent活动上，Snowflake的合作伙伴工程师Matt Marzillo就如何利用Snowflake和亚马逊云科技构建安全可扩展的生成式人工智能(gen AI)工作负载架构进行了富有洞见的演讲。Marzillo在Snowflake的职责是与Snowflake和亚马逊云科技的产品团队合作，确保两家公司的平台在人工智能和生成式人工智能工作负载方面无缝集成。此外，他还直接与客户合作，帮助他们更好地利用Snowflake和亚马逊云科技进行生成式人工智能和人工智能应用程序开发。

Marzillo首先简要介绍了Snowflake，这是一个运行了12年的云原生平台。起初，Snowflake在习惯于在本地编写SQL的传统数据仓库用户中获得了关注，提供了云端的优势，如存储和计算分离、近乎无限的可扩展性、低管理开销和易用性。虽然Snowflake最初是一个数据仓库解决方案，但该平台已经发生了重大演变，因此Marzillo避免使用“数据仓库”一词，以免受到同事的责备。

Snowflake已经超越了最初的数据仓库产品，将自己定位为一个综合平台，提供共享、协作、市场以及传统人工智能和机器学习工具，以及生成式人工智能服务和工具。该平台支持各种架构，包括数据仓库、数据网格、数据织物和数据湖仓。值得注意的是，Snowflake与亚马逊云科技生态系统有许多原生集成，包括Amazon S3、Amazon Glue、Amazon EMR、Amazon Lambda、Amazon SageMaker和Amazon Bedrock。

转移到亚马逊云科技的生成式人工智能技术栈，Marzillo强调了基础设施层，包括用于训练和推理的芯片，如Nitro。在此基础之上是Amazon Bedrock服务，提供基础模型和其他功能。Marzillo指出，许多客户利用Bedrock代理、微调模型并设置生成式人工智能服务，并从Snowflake访问这些服务。此外，Amazon Q是亚马逊云科技中一项新的热门服务，客户广泛采用并与Snowflake结合使用。

深入探讨Snowflake的生成式人工智能产品，Marzillo解释说，作为一个真正的SaaS平台，Snowflake的生成式人工智能功能和特性被命名为Cortex。Snowflake提供自己开发的生成式人工智能模型，称为Arctic系列，以及来自NVIDIA和Anthropic的模型。用户可以通过简单的函数，如“complete”或“summarize”，轻松访问这些模型，并利用Snowflake中的数据作为上下文，从非结构化数据集生成摘要或完成内容。

此外，用户可以在Snowflake内部使用标记数据对这些模型进行微调，创建更小、更紧凑、更高效的模型，以满足特定需求。在这些模型之上构建了两种流行的服务:Cortex Search和Cortex Analyst。Cortex Search是一种检索增强生成(RAG)服务，专为非结构化文档设计，允许用户在Snowflake内部设置搜索服务，并将其暴露为REST API供外部访问。

另一方面，Cortex Analyst专为结构化数据设计，提供与Cortex Search类似的体验。用户可以轻松地在结构化数据上设置该服务，并提示它检索信息或生成SQL代码。Marzillo强调Cortex Analyst是Snowflake的一个差异化优势，因为它旨在实现95%或更高的准确性，这对于期望从数据分析中获得可靠结果的业务用户来说至关重要。

Snowflake还提供了一个带有用户界面的工作室体验，以及一个文档人工智能体验，用于解析扫描文档并将提取的信息存储在Snowflake内的结构化表中。

根据Marzillo的说法，在Snowflake客户中，生成式人工智能在生产环境中的两个主要用例是自动化商业智能和对话式辅助，以及批量处理文本数据。自动化商业智能和对话式辅助涉及设置Cortex Analyst或Cortex Search，以便用户可以轻松地与数据交互并检索相关信息。批量处理文本数据虽然不是最炫酷的用例，但为客户带来了巨大价值，允许他们总结、合成并以结构化格式(如仪表板或应用程序)向用户展示Snowflake中未充分利用的非结构化数据。

Marzillo随后讨论了Snowflake和亚马逊云科技如何为生成式人工智能工作负载协同工作。如果从Snowflake进行编排，用户可以设置外部访问连接器，安全连接到外部服务，如Amazon Bedrock。然后，他们可以在Bedrock模型周围包装一个函数，并使用诸如Streamlit或任务流之类的工具从Snowflake内部访问该模型。这种架构涉及在亚马逊云科技中部署Snowflake、准备数据、设置Snowpark外部访问集成，并通过Streamlit应用程序公开Bedrock模型。Marzillo详细解释了这种架构，强调了Snowflake和Amazon Bedrock之间的安全连接，以及使用Snowflake数据作为Bedrock模型完成或指令的上下文的能力。

或者，如果从亚马逊云科技端进行编排，客户可以将Cortex Analyst或Cortex Search作为Lambda操作项目包含在Bedrock代理工作流中。这种方法允许Bedrock代理进行决策并在其工作流中调用Snowflake内部的服务。Marzillo解释说，这种架构涉及在Bedrock中设置一个代理，该代理可以利用多个操作项目，包括Snowflake内部的服务，如Cortex Analyst或Cortex Search。

Amazon Q是另一种与Snowflake连接的流行服务。Marzillo演示了如何在Q中设置一个插件，通过REST API和OAuth身份验证连接到Snowflake Cortex。他提供了一个实际的Airbnb房源用例示例，展示了如何在Snowflake内部为非结构化的Airbnb房源数据设置Cortex Search服务、处理来自Q的身份验证，以及根据提示检索相关房源。

Marzillo逐步演示了在Snowflake内部设置Cortex Search服务的过程，定义了诸如嵌入更新频率之类的参数，并处理了RAG架构的后端。然后，他展示了如何设置一个Lambda函数和API网关来处理对该服务的授权，尽管他指出由于最近Snowflake和亚马逊云科技之间的集成，这一步骤已经不再需要。

在亚马逊云科技 Q for Business应用程序中，Marzillo演示了如何添加Cortex Q插件、使用Snowflake账户URL和服务参数设置OpenAPI模式，以及处理OAuth身份验证。然后，他展示了如何将发送到Cortex Q插件的提示由Cortex Search服务处理，该服务将嵌入提示、查找相似记录，并将相关的Airbnb房源信息返回到Q应用程序中。

最后，Marzillo提供了几个开始使用Snowflake和亚马逊云科技进行生成式人工智能工作负载的行动号召。他建议访问quickstarts.snowflake.com并搜索“Amazon”或“亚马逊云科技”，以访问各种快速入门指南，通常只需不到一小时即可完成。他还分享了一个微型URL，链接到一个关于设置Bedrock代理工作流的亚马逊云科技研讨会。此外，Marzillo还鼓励与会者访问活动上的Snowflake展位(714)，与Snowflake和亚马逊云科技团队互动，寻求进一步帮助、提出问题并讨论他们在使用这些平台方面的经验。

下面是一些演讲现场的精彩瞬间：

演讲者介绍了Snowflake和亚马逊云科技针对生成式人工智能的产品和服务，并通过一个快速演示展示了它们如何协同工作。

Snowflake强调了与各种亚马逊云科技服务的无缝集成，使客户能够利用两个平台的优势进行数据共享、协作、人工智能/机器学习以及采用多种架构方法。

亚马逊云科技展示了其全面的生成式人工智能技术栈，从基础设施到基础模型和服务(如Amazon Q)，使客户能够无缝地利用生成式人工智能功能与Snowflake协同工作。

Cortex Analyst为业务用户提供高度准确的SQL代码生成功能，准确率超过95%，远远超过了典型的copilot功能。

Snowflake与Anthropic的Bedrock等外部人工智能服务无缝集成，使用户能够利用强大的模型(如Claude)，同时利用Snowflake的数据和分析功能。

通过Bedrock代理，亚马逊云科技服务(如Cortex Analyst和Cortex Search)与Snowflake数据无缝集成，实现高效的数据分析和决策。

演讲者鼓励观众通过快速入门和演示研讨会探索Snowflake与亚马逊云科技的集成，强调了开始使用和测试功能的简易性。

总结

在这个数据和人工智能迅速发展的世界里，Snowflake和亚马逊云科技携手合作，为生成式人工智能工作负载提供了一种强大且安全的架构。Snowflake的合作伙伴工程师Matt Marzillo深入探讨了这两家行业巨头之间的协同关系，强调了它们互补的产品和无缝集成。

Snowflake是一个建立在亚马逊云科技之上的云原生平台，已从传统的数据仓库发展成为一个综合平台，包括人工智能和机器学习服务，其中包括Cortex品牌下的生成式人工智能功能。凭借Cortex Search用于非结构化数据和Cortex Analyst用于结构化数据等功能，Snowflake使用户能够通过自然语言提示轻松与数据进行交互，实现自动化商业智能和对话式辅助。

另一方面，亚马逊云科技拥有强大的生成式人工智能技术栈，包括具有基础模型的Bedrock服务和流行的Amazon Q服务。通过利用Snowflake的外部访问连接器和Streamlit应用程序，用户可以无缝集成亚马逊云科技模型(如Bedrock和Anthropic)到Snowflake工作流中，发挥两个平台的综合实力。

相反，Snowflake的Cortex服务也可以集成到亚马逊云科技工作流中，如Bedrock代理和Amazon Q应用程序，允许用户在亚马逊云科技协调的生成式人工智能过程中利用Snowflake数据作为上下文。这种共生关系使组织能够充分发挥其数据的潜力，无论他们选择在何处协调生成式人工智能工作负载。

总之，Snowflake和亚马逊云科技的合作为组织构建安全、可扩展和前沿的生成式人工智能架构提供了一个引人注目的机会，开启了数据驱动决策和创新的新前景。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。