（Note）深度学习模型的部署方式

        一般来说，当我们在Python框架中训练好深度学习模型，通常需要部署到C/C++环境，目前主要有有以下几种方案：

• CPU方案：Libtorch、OpenCV-DNN、OpenVINO、ONNX
• GPU方案：TensorRT、OpenCV-DNN

        其中：

        OpenCV、OpenVINO都是intel的开源框架库，OpenCV的DNN模块其实调用的也就是OpenVINO，另外OpenvVINO在硬件加速方面使用了Intel自家CPU的集成显卡。

        模型部署的时候，我们仅需要实现数据处理、前向传播就行，不需要去管反向传播。

        如果需要部署到服务器上，例如人脸验证、语音服务、应用了深度学习的智能推荐等。由于一般是大规模部署，这种情况除了要考虑吞吐和延时，也要考虑功耗和成本问题。

        因此，除了软件外，在硬件也上会下功夫，比如使用推理专用的NVIDIA T4、寒武纪MLU100等。相较于桌面级显卡，这些推理卡功耗低，单位能耗下计算效率更高，且硬件结构更适合高吞吐量的情况。软件上，一般部署时都不会直接上深度学习框架。

Reference：

训练好的深度学习模型，多种部署方式_落难Coder的博客-CSDN博客_深度学习训练好的模型

深度学习模型部署概述 - FeiYull - 博客园

训练好的深度学习模型是怎么部署的？ - 知乎