pytorch模型部署

大规模部署PyTorch模型需要额外的功能，如打包模型、配置运行时环境，公开API端点、记录和监控以及管理多个模型版本。

Python API	执行快速原型设计、培训和实验； 程序 Python 运行时。
TorchScript	提高性能和可移植性（例如，加载和运行 C ++中的模型）；编程非 Python 运行时或严格的延迟 和性能要求。
TorchServe	一个快速的生产环境工具，具有模型存储、A/B 测试、监控
tensorRT	nvidia ,GPU上做inference
libtorch	pytorch的C++版本，支持CPU端和GPU端的部署和训练
ONNX	部署到具有 ONNX 运行时或 FPGA 设备的系统
tengine	阿里基于 nginx修改
Mobile libraries	部署到 iOS 和 Android 设备

（1）app：

reference：

pytorch部署torchscript篇_AllentDan的博客-CSDN博客_torchscript部署