NVIDIA Jetson平台上TensorRT加速YOLOV3,V4及V5系列参考例程分享

我的Jetson

*Jenson Nano: Jetpack4.4 CUDA10.2 cuDNN8.0 OpenCV4.1 TensorRT7.1
*Jenson Xavier NX:Jetpack4.4 CUDA10.2 cuDNN8.0 OpenCV4.1 TensorRT7.1

以下例程是对TensorRT加速YOLO的引擎文件生成及简单验证检测的实现。

1.YOLO-TensorRT

具体见：
enazoe-CSDN
enazoe-github
介绍：
直接用TensorRT C++ API实现对YOLO的TensorRT加速运行。

支持：

1. yolov5s , yolov5m , yolov5l , yolov5x
2. yolov4 , yolov4-tiny
3. yolov3 , yolov3-tiny

我的说明：
1.在Jenson Nano上进行FP32的引擎文件生成会失败，因为在转换过程中会造成memory资源紧张，进程被killed，可改为FP16。
2.在samples / sample_detector.cpp中进行更改FP32,FP16,INT8需要的精度

config_vx.inference_precison=FP16

3.仅在进行INT8精度转换时会提示找不到某某某图片，我的解决办法是自己制作数据集，只需要几十张图片，并更改configs/ calibration_images.txt中的图片位置。
4.在samples / sample_detector.cpp中 init()更改需要转换的YOLO版本。

std::unique_ptr detector(new Detector());
detector->init(config_v4);

我的测试：

博主QQ交流群：1151955802，在此非常感谢博主enazoe在群里的帮助让我得以成功运行改代码仓库。

2.YOLO-ONNX-TensorRT

具体见：
hlld26-CSDN
hlld-github
介绍：
将darknet的YOLO模型进行转换，接着导出到onnx格式，最后经过TensorRT加速后运行

支持：

1. yolov4
2. , yolov3,yolov3-tniy,yolov3-tniy-prn

我的说明：
1.在Jenson Nano上进行FP32的引擎文件生成会失败，因为在转换过程中会造成memory资源紧张，进程被killed，可改为FP16。
2.在命令行中进行更改FP32,FP16,INT8需要的精度。-m 0代表FP32,-m 1代表FP16，-m 2代表INT8。