深度学习算法部署方介绍（笔记）（文章是抄别人的）

深度学习模型的部署可以分为两种方式：离线部署和在线部署。

1、离线部署

离线部署是将训练好的深度学习模型打包成可执行文件或者库文件，在目标设备上进行部署和运行。这种方式适用于模型参数不需要改变的情况，例如图像分类、语音识别等场景。常见的离线部署方式有 TensorFlow Lite、ONNX、TensorRT 等。

2、在线部署

在线部署是将深度学习模型部署到服务器上，通过 API 的方式对外提供服务。这种方式适用于模型参数需要动态改变的情况，例如推荐系统、自然语言处理等场景。常见的在线部署方式有 TensorFlow Serving、PyTorch Serving、Flask、Django 等。

3、部署的一般流程

以下是部署深度学习模型的一般流程：
1、模型训练：首先需要通过训练数据训练出一个深度学习模型。
2、模型导出：将训练好的模型导出为可执行文件或者库文件，适用于离线部署方式。
3、模型部署：根据具体需求选择离线部署或在线部署方式，将模型部署到目标设备或服务器上。
4、接口封装：对于在线部署方式，需要对模型进行接口封装，实现对外提供服务的功能。
5、服务部署：启动服务并监控服务状态，保证服务的稳定性和可用性。
6、模型优化：为了提高模型的性能和速度，可以使用量化、剪枝、蒸馏等技术进行模型优化。

4、C++做部署需考虑的

对于C++ 深度学习模型的部署需要考虑以下几个方面：
1、模型导出和序列化：在部署深度学习模型前，需要将训练好的模型导出成可用的格式，并序列化保存。常见的格式有 ONNX、TensorFlow Lite、Caffe2 等，这些格式支持将模型导出为 C++ 可以读取的格式。
2、模型加载和推理：在 C++ 中加载模型需要使用相应的库，如 ONNX Runtime、TensorFlow C++ API 等，这些库提供了模型加载、预处理和推理的 API 接口，可以方便地进行模型推理。
3、数据预处理和后处理：在模型推理前需要对数据进行预处理，如图像数据需要进行归一化、裁剪等处理，这些处理可以使用 OpenCV 等库完成。模型推理后还需要对输出数据进行后处理，如进行反归一化、解码等处理。
4、硬件加速和优化：在部署深度学习模型时，还需要考虑硬件加速和优化。一些硬件设备如 GPU、FPGA 等可以加速深度学习模型的推理速度，而一些深度学习库也提供了硬件加速和优化的接口，如 Intel MKL-DNN 等。

5、参考

https://www.zhihu.com/question/517971355/answer/2948111264