re:Invent 2023 | 使用 Amazon SageMaker Studio 扩展完整的机器学习开发

关键字: [Amazon Web Services re:Invent 2023, Amazon SageMaker Studio, Machine Learning Development, Sagemaker Studio, Data Science Workflows, Model Building, Model Deployment]

本文字数: 2800, 阅读完需: 14 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV12e411y77f

导读

Amazon SageMaker Studio 为端到端机器学习开发提供了全面的工具，从准备数据到训练模型、跟踪实验、部署模型和管理管道，所有这些都在集成开发环境中进行。为了加速生成式 AI 开发，您需要集成的专用构建工具，训练和调整基础模型 (FM)，并需要一个灵活的环境，定制机器学习工作流。在本论坛中，了解 SageMaker Studio 的最新功能，以帮助您快速构建、测试、微调和迭代模型，提高效率和性能。还可以了解宝马集团如何通过 SageMaker Studio 加速 AI /机器学习开发。

演讲精华

以下是小编为您整理的本次演讲的精华，共2500字，阅读时间大约是12分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

这位经验丰富的资深产品负责人Sumit Harker在拉斯维加斯的Manley Bay会议中心举办了一场为期30分钟的讲座，吸引了约500名机器学习从业者。他对这些听众表示热烈欢迎，并介绍了他自己以及他的两位尊贵共同演讲者：具有15年以上构建AI解决方案经验的主解决方案架构师Giuseppe Porcelli，以及在过去7年里曾管理过宝马BMW公司的机器学习工程师团队的产品负责人Mark Neumann。他们共同探讨了如何利用Amazon SageMaker Studio的强大功能来有效扩展组织的机器学习开发计划。

Harker首先介绍了SageMaker Studio的背景信息，指出这是2019年11月首次公开发布的，它是首个专为机器学习方法流程设计的完全集成开发环境。这意味着数据科学家、开发人员和工程师可以在一个统一的视觉界面中访问整个端到端机器学习方法生命周期所需的所有工具。这使得他们在一个集成的环境中可以访问一整套能力——从数据标注和特征工程到模型构建、超参数调整、部署、监控和全流程编排。

通过Studio，实践者可以在不同步骤之间无缝切换，进行修改，立即观察结果，并快速迭代以实现新的机器学习功能。自从3年前推出以来，几乎每个行业的数以万计的客户都采用了SageMaker Studio。

这为亚马逊云科技Amazon Web Services的SageMaker产品团队提供了一个宝贵的机会，密切合作这些用户并获得影响机器学习开发者体验的趋势、挑战和需求的宝贵见解。

Harker强调了他们从深入了解客户研究中出现的一些特别值得注意的趋势。第一个主要趋势是全球经济各个部门的人工智能和机器学习的采用速度极其迅速。

根据斯坦福大学每年发布的权威AI指数报告，过去十年里，全球企业在人工智能领域的投资增长了约13倍——从2012年的仅60亿美元增长到2021年的超过790亿美元。此外，该报告预测，随着生成性人工智能的进步，未来几年这种疯狂的AI投资速度可能会进一步加速。对于机器学习开发者来说，这种主流应用的激增意味着对高性能工具和功能的强烈需求，以帮助开发者实现最大生产力。用户需要能够快速从数据收集和准备到训练模型再到提取见解和业务价值。

Sumit提到的第二个趋势是数据和相关职位的专业化和扩散，包括数据工程师、数据科学家、机器学习工程师、MLOps工程师等。考虑到开发、部署和运营端到端机器学习系统的复杂性，任何单个从业者都不可能具备横跨整个生命周期所需的全部技能。数据工程师专门负责收集、整合并将不同数据集转换为可用于分析和建模的格式。数据科学家专注于提取特征、尝试算法、调整超参数并迭代构建模型。机器学习工程师擅长通过构建健壮的数据管道、监控系统和自动化重新训练来将模型投入生产。随着各行业对机器学习人才的需求激增，这些专门的AI领域已经实现了快速增长。因此，开发者正在寻求针对与他们角色和相关经验水平相关的特定任务的定制工具。

Sumit提出的第三个主要趋势是许多组织在将机器学习模型从初始原型成功推广到大规模生产部署方面仍然面临的持续挑战。据Gartner行业调查数据显示，只有大约50-60%的模型能够从概念验证成功过渡到实时生产环境，这表明仍有很大的改进空间。

在研究阶段，迭代开发模型所需的技能、工具、基础设施和过程与将模型部署到可扩展、可靠和受监控的生产系统中所需的严格软件工程技术可能存在很大差异。因此，开发者正寻求更智能的工具和框架来帮助他们的模型从探索顺利过渡到实施。

Sumit将这些关键收获和要求简洁地总结为四个概括了不断发展的机器学习开发者体验的“P”：

性能（Performance） - 随着AI在各个领域的应用速度加快，开发者需要访问高性能的工具来满足迅速增长的需求。

生产力（Productivity） - 消除无差别的繁重工作，让开发者能够通过专注于高价值任务来提高生产力。

偏好（Preferences） - 对专为数据专业人士的具体职责和工作角色定制的专用工具的需求越来越大。

生产（Production） - 模型构建者希望有更多的自助服务功能,以顺利地将模型从原型过渡到生产。

为了直接解决现代机器学习开发者体验的四个关键支柱，下一代SageMaker Studio在每个领域都引入了重大创新：

• 提供即时访问工具的极速启动体验，只需5秒或更少的时间
• 为不同任务提供了更多代码编辑器和笔记本选项，包括JupyterLab、RStudio和Visual Studio Code
• 内置的AI辅助功能,如Amazon CodeWhisperer,以自动化枯燥的编码任务
• 新的自动化工具,简化将机器学习代码转换为生产管道的过程

Sumit然后向500人的观众展示了一些最具影响力的新功能的生动演示,从简化配置SageMaker Studio域和空间的过程开始。他展示了一个完整的域现在可以通过单次点击自动处理身份管理、网络配置和分配底层计算资源。

空间内提供了丰富功能的开发环境，用于存储计算实例、存储卷和运行时偏好。Sumit展示了如何创建一个JupyterLab空间，自定义ML计算实例类型以及分配的存储容量，并在浏览器中启动笔记本——整个环境在不到60秒的时间内准备就绪。

JupyterLab实例已预加载了亚马逊云科技针对Python的SageMaker分布式，这是一个由亚马逊云科技发起的开源项目，将最受欢迎的Python数据科学和机器学习库的最新版本打包成Docker容器。

使用SageMaker分布式确保在Studio、亚马逊SageMaker训练作业和本地开发之间具有一致的运行时环境。当然，用户还可以根据工作流程的需要进一步安装额外的库和包。

接下来, Sumit介绍了如何通过提供针对不同任务的多款代码编辑器和集成开发环境(IDE)来满足笔记开发者更广泛的需求倾向。

机器学习工作者现在可以在JupyterLab、RStudio和Visual Studio Code之间进行选择，每种工具都专为特定活动而设计。例如，数据科学家可能会喜欢Jupyter笔记本的灵活性，而机器学习工程师可能会选择VS Code来构建稳定的系统。

集成到亚马逊SageMaker Studio的VS Code编辑器包含预先安装的亚马逊云科技工具包扩展，使访问亚马逊云科技服务变得简单。它还可以通过与Open VSX（开源VS Code注册表）的集成，访问超过3000个额外的扩展。

就像JupyterLab一样，VS Code实例也在可配置的亚马逊SageMaker空间上运行，具有可调整的计算和存储。

为了显著提高开发者的工作效率，最新的亚马逊SageMaker Studio版本内置了多种AI辅助功能。例如, Amazon CodeWhisperer允许开发者通过添加描述其意图的纯英语注释来自动生成Python代码。在使用CodeWhisperer的情况下，开发者们的生产力提高了57%。

工作室笔记本还具备集成的聊天助手功能，供开发人员与之一同进行自然语言对话，以便获得建议、理解代码和接受推荐。开发者能够挑选不同的基础模型，例如Anthropic的Claude或Hugging Face的Stardust，以定制其功能。

最终，为了简化从原型设计到实际应用的过渡过程，SageMaker Studio推出了全新的自动化功能。如今，SageMaker Python SDK包含了装饰器，可允许一个函数被标记并自动作为SageMaker的训练任务执行。这使得能够将原型规模从无笔记本扩展至利用更强大的云端基础设施，而无需编写任何代码上的改变。用户可以通过应用新的@step装饰器，将多个已装饰的功能组合成一个生产级管道。

笔记本调度创建了笔记本作业的管道，而ModelBuilder类则通过自动识别关键信息，如推断服务器的类型和所需计算资源等，从而简化了部署过程。

在这一阶段，Sumit邀请了他的同事Giuseppe Porcelli上台，进行现场演示如何在端到端的机器学习问题中使用SageMaker Studio进行压力测试。

Giuseppe简要介绍了一个关于使用工业机械设备的历史传感器数据来预测故障的场景，该数据来源于加州大学欧文分校的机器学习库，拥有超过55,000个样本和12个输入特征，如温度、压力、转速以及一个表示故障状态的二进制目标变量。他将展示一个完整的过程，包括在Jupyter笔记本中加载和准备数据、使用预处理过的数据训练一个XGBoost二进制分类模型以预测故障、将训练代码转换成SageMaker作业、从VS Code将模型部署到终点，以及在SageMaker管道中协调各个步骤。

Giuseppe首先在Studio中创建了一个JupyterLab工作区，自定义了ML计算实例的类型、存储容量并预先选择了SageMaker的Docker镜像。他还展示了如何将Amazon CodeWhisperer集成到笔记本中，根据纯英语注释自动生成交代数据的相关操作代码。

数据科学家Giuseppe首先加载数据集并进行探索性分析，然后处理缺失值并对类别变量进行编码。接下来，他将数据分为80/20的训练和验证集。使用Scikit-Learn进行预处理，并通过Pandas进行操作。接着，他设计特征并训练一个XGBoost分类器来预测二进制机器故障状态。为了充分利用更强大的SageMaker计算资源，他在上述Python函数上添加了@remote装饰器，从而自动将其作为SageMaker训练作业运行。

在切换到Visual Studio Code编辑器后，他用新的ModelBuilder类将训练好的XGBoost模型部署到SageMaker端点。此外，他还展示了针对已部署的模型进行实时推断，以检测来自样本输入数据的故障。

最后，Giuseppe使用@step装饰器将数据准备、训练、评估、注册和部署功能从Python代码轻松转换为自动化SageMaker管道。该管道工作流协调了这5个步骤，所需的其他代码非常少。他在Studio中执行该管道，并在UI中演示监控进度，包括自动捕获并添加到SageMaker模型注册表的模型评估报告。

在结束这一富有洞察力的演示之后，Sumit邀请宝马公司的代表Mark Neumann上台，介绍了这家汽车制造巨头如何利用SageMaker Studio在整个企业范围内加速机器学习开发。Mark分享了他团队的一个用例：在宝马工厂中使用计算机视觉模型进行车辆装配线的自动化质量检查。

在生产线上方的高分辨率摄像头会不断拍摄经过多个检测点的车辆图像。AI模型会实时分析这些图像，以确保组装的正确性、检测异常以及是否符合规范和公差等方面的要求。在全球范围内，宝马集团在其31家制造工厂生产超过500种独特的车辆型号。随着生产过程中检查点的增加以及工具、照明和生产线配置的变化，这些检测模型需要不断地重新训练和更新以保持其准确性和可靠性。

为了实现这一目标，马克的团队致力于为宝马的开发者、数据科学家和工程师提供一个强大的工具和平台，以便他们能够轻松地构建、更新和监控这些AI解决方案，而不必担心基础设施设置、运营和合规方面的问题。在过去，宝马依赖于一系列专门针对特定团队和用例的机器学习平台，但这种碎片化的方法导致了许多问题，如高昂的运营成本、难以扩展计算资源和在需求波动期间造成闲置容量的浪费。

为了解决这些挑战，马克的团队设计了一个新的集中式SageMaker Studio解决方案，以满足企业内不同数据科学团队的需求。这个自动化的供应链工作流程为每个团队创建了独立的预配置好的亚马逊云科技账户，包含了所有必要的Studio组件、附有文件系统的Docker容器（用于共享）以及安全控制。这使得宝马的平台团队能够专注于集成、治理和合规，而开发人员则可以快速加入并访问数据来构建模型。

宝马认为，Studio的开源基础（如Jupyter和VS Code）、亚马逊云科技的投资带来的持续创新速度以及为不同工作负载选择最佳实例类型和大小的能力具有战略价值。目前，公司正在努力将团队迁移到新的SageMaker环境，同时整合现有的MLOps、模型监控、可解释性和模型治理解决方案，以实现统一的端到端机器学习平台。马克对展示的扩展的SageMaker Studio功能表示由衷的感谢。

总的来说，这场具有深刻洞察力的30分钟演讲为我们揭示了战略背景和战术细节，阐述了亚马逊SageMaker Studio如何通过加速机器学习项目的进程，充分发挥人工智能的变革潜力，为企业带来价值。

根据多年的研究和大量的客户经验，Sumit总结了开发者体验的主要趋势，包括对高性能、生产效率、针对特定角色的工具以及对简化模型生产过程的强烈需求。

最新版本的SageMaker Studio通过诸如5秒启动时间、多种编辑选项、AI编码助手和自动部署功能等创新功能，直接解决了这些领域的各种问题。

Giuseppe以引人入胜的方式展示了如何在Studio中创建开发环境、生成代码、训练模型、执行任务、部署模型以及协调机器学习管道的整个过程。

最后，宝马公司的Mark Neumann分享了他们如何将业务从分散的遗留系统转向集中管理的SageMaker Studio平台的过程，实现了开发规模的扩展，同时也关注了集成、治理和合规性等方面。

宝马公司计划利用Studio的开源基础、新功能以及强大的自动化功能来推动整个企业的AI创新，保持竞争优势。

下面是一些演讲现场的精彩瞬间：

领导者们探讨了如何利用SageMaker工作室来调整机器学习开发的规模问题。

通过SageMaker发行版，JupyterLab、Code Editor和SageMaker Studio在跨平台的统一运行时环境中得以实现。

亚马逊云科技的SageMaker管道使得构建端到端的ML工作流变得简单易行。

领导者展示了SageMaker工作室的管道界面，该界面提供了从数据预处理到模型部署的完整ML工作流。

领导者概括了亚马逊云平台服务在人工智能和机器学习领域的优势，使开发者能够轻松地将这些功能集成到其应用程序中。

领导者回顾了亚马逊云科技多年前是如何开始提供机器学习开发环境的，以便数据科学家和工程师能够利用GPU上的迁移学习来处理图像、音频和文本等非结构化数据。

总结

视频详细介绍了Amazon SageMaker Studio的最新功能，旨在帮助机器学习开发者进行扩展。SageMaker Studio为机器学习工作流提供了一个集成界面。演讲者重点讨论了影响机器学习开发者体验的主要趋势——快速的人工智能采用、数据角色的普及以及模型部署的挑战。

为了应对这些趋势，全新的SageMaker Studio提供了更快速的启动体验，包括更多的选项，如JupyterLab和Visual Studio Code等集成开发环境（IDE），以及通过CodeWhisperer等工具提供的AI辅助功能。此外，它还简化了将模型投入使用的过程。

演示过程中，观众可以看到如何使用SageMaker Studio、SageMaker训练和SageMaker管道来预处理数据、训练XGBoost模型、评估它们并将模型部署到目的地。装饰器和管道使得扩大原型工作流程变得更加容易。

来自宝马公司的演讲者阐述了SageMaker Studio如何帮助他们将分散的机器学习平台整合到一个集中管理和受控的平台中。其主要优势在于灵活性、降低的运营成本以及更顺畅的模型开发过程。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134996662

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。