深度学习模型部署 C++学习经历

前言

在部署大规模深度学习应用的时候，要想满足应用需求或者压榨模型的性能，C++可能是比python更好的选择方案。基于此，特地记录最近的C++的学习经历。其实以终为始来思考为什么学习C++，首先是为了能够很好地提升模型的性能，满足应用场景中的高可用，高并发，低时延等要求。为了提升模型的性能，需要用到一些推理框架，如TensorRT、NCNN或者Openvino（本文中以TensorRT作为案例）。TensorRT在8.0以上的版本都支持Python的API了，但还是有必要学习C++。另外在模型压缩的时候也会考虑用到C++。

确定推理框架后，然后确定这个框架需要什么格式的模型？这里面可能要提到模型集大成者ONNX，因此需要学习ONNX模型。学习如何将Tensorflow、Pytorch或者keras的模型转换成ONNX，它支持什么算子，这些都是需要学习的。

最后总结这个路线是Tensorflow或pytorch模型转换成ONNX，然后ONNX对模型进行优化，转换成TensorRT模型优化以及C++的推理。

1. ONNX模型转换和优化
2. TensorRT转换和优化
3. C++对ONNX模型的推理和TensorRT推理实现。

ONNX

关于ONNX的转换可以参考我的git仓库：onnx模型转换。当中包括Tensorflow和Pytorch的模型转换Demo。同时包括用onnxruntime进行推理的过程。在这一块基本的转换过程已经转换了，后续需要更加深化，了解支持的算子，如何转换复杂模型，甚至如何写算子等都要学会。

C++

C++需要学习基础知识，这些都不在话下了。看下书，学习视频，以下用一个C++调用ONNX模型推理作为例子，具体代码可以参考：ONNX C++

TensorRT

TensorRT支持三种网络的结构和参数：

1. TF-TRT，要求的是Tensorflow模型。该API集成在Tensorflow框架当中，开发成本是最小的
2. ONNX模型格式，该方法开发周期相对比较短，对用户挺友好
3. 使用TensorRT API手动把模型搭建，这是骨灰大神级别的任务操作。

综上第二点是比较经济实惠的，使用ONNX的模型的时候是尚未被优化的，因此需要用TensorRT优化特定的参数，得到TensorRT Engine模型，最后使用该模型进行推理。

使用trtexec.exe

trtexec 是 TensorRT sample 里的一个例子，把 TensorRT 许多方法包装成了一个可执行文件。它可以把模型优化成 TensorRT Engine ，并且填入随机数跑 inference 进行速度测试。命令./trtexec --onnx=model.onnx把 onnx 模型优化成 Engine ，然后多次 inference 后统计并报时。也可以将ONNX模型转换成trt格式的TensorRT模型： /trtexec --onnx=model.onnx --saveEngine=xxx.trt。trtexec作用是看模型最快能跑多快，它是不管精度的，如果真想实际部署上又快又好的模型还是要自己调 TensorRT 的 API。具体可以参考参考2。

量化校准

未完待续…

参考

1. Nvidia TensorRT
2. 踩坑实录 TensorRT傻瓜式部署流程
3. ONNX