AIM404 | 在亚马逊云科技上使用 PyTorch 训练和托管基础模型

AIM404 | 在亚马逊云科技上使用 PyTorch 训练和托管基础模型

关键字: [Amazon Web Services re:Invent 2023, SageMaker, Foundation Models, Large Scale Training, Amazon Web Services Services, Model Deployment, Multi-Modal Data]

本文字数: 1800, 阅读完需: 9 分钟

视频

导读

具有数千亿参数的基础模型激活了机器学习的新应用。OPT-175B、BLOOM、Jurassic、GPT-3 和 DALL-E 等模型展示了令人兴奋的文本和图像生成新用例，但训练和使用这些模型进行推理是一个新的挑战。在本次分享中，您将学习如何在亚马逊云科技上使用 PyTorch 大规模训练和使用基础模型。了解如何通过优化计算、网络通信、输入/输出、检查点以及从 GPU 到 CPU 的卸载来减少培训时间和成本。您还将学习如何选择正确的模型并行化策略和最佳方案来训练和使用这些模型。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

为了提升预训练模型的准确性，需要使用特定领域的数据进行定制，随后部署经过调整的模型。这种方法虽然提高了准确性，但却需要专业知识、数据、计算资源以及持续的维护。

此外，还有一种新兴的技术叫做强化学习，它通过结合人类或最终用户对预测结果的反馈，不断地改进模型。这种技术具有巨大的潜力。

存储庞大400TB数据集的Amazon EFS；用于可扩展分布式训练的SageMaker；通过数据并行训练将训练时间缩短60%的SageMaker数据并行功能，将每日迭代次数从6,300降低至10,000的E2实例，用于高效部署EXAONE进行推理；以及通过切换至SageMaker而节省超过7万美元的训练费用的培训方案。

EXAONE在许多任务上都表现出卓越的性能，例如对整个场景进行详细的图像描述，根据文本提示对图像进行升级、修改和编辑，以及基于上下文进行推理的图像分割。LG AI研究部门对亚马逊云科技如何帮助他们快速训练拥有600亿参数和400TB数据集的EXAONE表示赞赏。SageMaker及其他亚马逊云科技服务的可扩展性、加速训练和易用性对他们的成功至关重要。他们计划使用SageMaker的模型并行训练和推断工具来进一步优化EXAONE，并将其应用于实际应用场景。

在总结中，演讲者强调了基础模型已成为当前人工智能领域的前沿技术。这些规模空前且具有丰富知识的模型正在各个行业引发全新的应用。然而，训练和部署这些模型需要一个优化过的基础设施和服务体系。作为业界领先的云平台，亚马逊云科技致力于高效运用这些强大模型的能力。借助诸如SageMaker等解决方案，亚马逊云科技正助力包括LG AI在内的各类企业开展创新研究，推动人工智能技术的未来发展。

下面是一些演讲现场的精彩瞬间：

一段由Stable Diffusion制作的视频展示了中国AI在生成高质量视觉内容方面的强大能力，同时仅需付出较少的努力和时间。

该演讲者强调，在像ImageNet这样的图像识别基准测试中，AI已经取得了显著的进步，从一项具有挑战性的任务在短短几年内发展成为一项常规任务。

领导者们探讨了与大型语言模型互动的三大途径：推理、微调和从头开始训练。

亚马逊云科技使得Stability AI的训练速度提升了58%，从而加速了其创新的发展进程。

全新的StageMayer数据并行训练技术相较于现有方法速度快60%，且成本更低。

亚马逊云科技通过SageMaker实现了可扩展且高效的模型训练功能。

总结

本视频探讨了在亚马逊云科技平台上使用PyTorch训练和管理预训练的基础模型。这些基础模型是基于大量数据集进行预训练的大型AI模型，能够针对不同下游任务进行微调。视频概述了基础模型的概念、其重要性以及与它们互动的方式——推理、微调和强化学习。接着，视频详细讲解了在亚马逊云科技平台上使用SageMaker、ECR、S3和用于Lustre的FSx等服务训练基础模型的过程。

视频强调了SageMaker如何在GPU集群上实现分布式训练，从而降低训练时间和成本。视频中展示了一个使用Bloom模型和Hugging Face的示例，从S3下载预训练成果并在SageMaker中继续进行训练。此外，还涉及到了使用SageMaker数据并行库等技术优化方法来解决计算瓶颈的问题。

LG AI Research部门的客户分享了他们如何使用亚马逊云科技训练ExaOne基础模型的经验。他们利用FSx和SageMaker来管理数百TB的数据，并在GPU上执行分布式训练。通过使用SageMaker数据并行功能，他们将训练速度提升了60%（相较于PyTorch DDP）。此外，他们还展示了如何使用微调功能来实现诸如图像生成、摘要编写等功能。亚马逊云科技平台提供了灵活的资源扩展和快速迭代的能力。

总之，视频展示了亚马逊云科技服务如何支持训练大型基础模型，并通过可扩展存储、分布式训练和优化技术提高性能并降低成本。同时，视频也展示了像Bloom和ExaOne这样的模型在亚马逊云科技平台上成功训练的客户案例。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。