亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题

4月21日官方发布，PyTorch 用户可以使用TorchServe（PyTorch生态新的模型服务框架）来大规模部署经过训练的模型，而无需编写自定义代码。

PyTorch是最初由Facebook创建的开源机器学习框架，由于其易用性在机器学习研究人员和数据科学家中广受欢迎。

但是，在生产中部署和管理模型通常是机器学习过程中最困难的部分，需要客户编写预测API并对它们进行扩展，而谷歌的 Tensorflow 工业化程度更高。TorchServe 的发布开始打破 Pytorch 的被动局面。

通过TorchServe，可以轻松地在生产环境中大规模部署PyTorch模型。它以低延迟提供轻量级服务，因此您可以部署模型以进行高性能推理。它为最常见的应用程序提供了默认处理程序，例如目标检测和文本分类，因此您不必编写自定义代码即可部署模型。借助强大的TorchServe功能，包括多模型服务，用于A / B测试的模型版本控制，用于监视的指标以及用于应用程序集成的RESTful端点，您可以将模型从研究阶段快速投入生产。TorchServe支持任何机器学习环境，包括Amazon SageMaker，Kubernetes，Amazon EKS和Amazon EC2。

TorchServe由AWS与Facebook合作构建和维护，是PyTorch开源项目的一部分。相关的代码已经开放可到GitHub进行下载。