FastReid模型转为ONNX和TensorRT模型

转onnx模型

安装pip库

pip install onnx-simplifier -i https://pypi.tuna.tsinghua.edu.cn/simple    
pip install onnxoptimizer -i https://pypi.tuna.tsinghua.edu.cn/simple         

模型转化

python ./tools/deploy/onnx_export.py --config-file ./logs/market1501/bagtricks_R18/config.yml --name baseline_R18 --output outputs/onnx_model --opts MODEL.WEIGHTS ./logs/market1501/bagtricks_R18/model_best.pth 

输出结果：

[11/16 16:25:42 fastreid.onnx_export]: Beginning ONNX file converting
Warning: ONNX Preprocess - Removing mutation from node aten::sub_ on block input: 'batched_inputs.1'. This changes graph semantics.
[11/16 16:25:45 fastreid.onnx_export]: Completed convert of ONNX model
[11/16 16:25:45 fastreid.onnx_export]: Beginning ONNX model path optimization
[11/16 16:25:45 fastreid.onnx_export]: Completed ONNX model path optimization
[11/16 16:25:46 fastreid.onnx_export]: ONNX model file has already saved to outputs/onnx_model\baseline_R18.onnx!

看到这个结果说明转换成功了。

模型推理

执行命令：

python ./tools/deploy/onnx_inference.py --model-path outputs/onnx_model/baseline_R18.onnx --input ./tools/deploy/test_data/0022_c6s1_002976_01.jpg --output onnx_output 

出现错误：

ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled. Since ORT 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example, onnxruntime.InferenceSession(..., providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'], ...)

参照：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/122899728 解决。
然后再执行上面的命令。
输出结果：

0%| | 0/1 [00:00 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.63it/s]

推理成功。

转TensorRT模型

安装pip文件

pip install pycuda -i https://pypi.tuna.tsinghua.edu.cn/simple

导出模型

cd ./tools/deploy

python trt_export.py --name baseline_R18 --output outputs/trt_model --mode fp32 --batch-size 1 --height 256 --width 128 --onnx-model ../../outputs/onnx_model/baseline_R18.onnx 

输出结果：

[11/16 17:08:47 trt_export]: Create engine successfully!
[11/16 17:08:47 trt_export]: Saving TRT engine file to path outputs/trt_model\baseline_R18.engine
[11/16 17:08:47 trt_export]: Engine file has already saved to outputs/trt_model\baseline_R18.engine!

转换成功。

推理

python trt_inference.py --model-path outputs/trt_model/baseline_R18.engine  --input test_data/0022_c6s1_002976_01.jpg --batch-size 1 --height 256 --width 128 --output trt_output

如果TensorRT的版本是8.X以上的，推理的时候会有一个错误：
AttributeError: ‘tensorrt.tensorrt.Builder‘ object has no attribute ‘build_cuda_engine‘
解决方法：https://wanghao.blog.csdn.net/article/details/127888740
输出结果：

[11/16/2022-17:23:56] [TRT] [W] The getMaxBatchSize() function should not be used with an engine built from a network created with NetworkDefinitionCreationFlag::kEXPLICIT_BATCH flag. This function will always return 1.
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 77.57it/s]