在 Amazon SageMaker 上使用 Hugging Face LLM DLC 部署大型语言模型
本篇文章主要介绍如何使用新的HuggingFaceLLM推理容器将开源LLMs(比如BLOOM)部署到亚马逊SageMaker进行推理的示例。我们将部署12BOpenAssistantModel,这是一款由开放助手计划训练的开源ChatLLM。这个示例包括:设置开发环境获取全新HuggingFaceLLMDLC将开放助手12B部署到亚马逊SageMaker进行推理并与我们的模型聊天清理环境什么是H