超强检测RT-DETR | Python/C++ 保姆级部署教程，从入门到精通！
作者 | 派派星 编辑 | CVHub
点击下方卡片，关注“自动驾驶之心”公众号
ADAS巨卷干货，即可获取
点击进入→自动驾驶之心【目标检测】技术交流群
后台回复【2D检测综述】获取鱼眼检测、实时检测、通用2D检测等近5年内所有综述！
Title: DETRs Beat YOLOs on Real-time Object Detection
Paper: https://arxiv.org/pdf/2304.08069.pdf
Code: https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rtdetr
导读
众所周知，在目标检测领域，YOLO 系列模型一直充当着老大哥的角色。虽然其检测性能表现优异，但一直被广为诟病的便是其后处理过于繁琐且耗时，不好优化且不够鲁棒。
最近，基于Transformer的端到端检测器(DETR)取得了显著的性能。然而，DETR的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制(NMS)。
于是乎，百度近期又基于 DETR 实现并开源了第一个实时的端到端物体检测器RT-DETR，有效的避免 NMS 导致的推理延迟同时提升性能。
具体来说，作者设计了一个高效的混合编码器，通过解耦内部尺度交互和跨尺度融合来高效地处理多尺度特征，并提出了 IoU 感知的查询选择来改进目标查询的初始化。此外，RT-DETR 支持使用不同的解码器层来灵活调整推断速度，无需重新训练，从而方便实时物体检测器的实际应用。
最终 RTDETR-L 在COCO val2017上达到了53.0%的AP和114 FPS的速度，而RT-DETR-X达到了54.8%的AP和74 FPS，速度和准确性均优于相同规模的所有YOLO检测器。此外，RTDETR-R50 在精度上比 DINO-Deformable-DETR-R50 高 2.2% 的 AP，在FPS上高出约21倍，达到了 53.1% 的 AP 和 108 FPS！
关于理论部分我们简单介绍到这里，具体的解读可参考：https://mp.weixin.qq.com/s/o03QM2rZNjHVto36gcV0Yw。本文着中教大家如何从零到一完成 RT-DETR 模型的部署。具体的代码可直接在文末点击阅读原文直接跳转到 Github，欢迎点个 star！
安装依赖
新建一个虚拟环境【可选】
conda create -n paddlepaddle python=3.8 -y
conda activate paddlepaddle下载相应的 paddle 版本【PaddlePaddle >= 2.4.1】
# 此处安装了适配 CUDA11.7 的 PaddleGPU 2.4.2 版本，请根据自己本地环境修改
python -m pip install paddlepaddle-gpu==2.4.2.post117 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html下载代码仓库
git clone https://github.com/PaddlePaddle/PaddleDetection.git
git checkout develop
# Install other dependencies
cd PaddleDetection
pip install -r requirements.txt
# Compile and install paddledet
python setup.py install下载预训练权重并测试环境是否正常
# 下载权重
wget https://bj.bcebos.com/v1/paddledet/models/rtdetr_r50vd_6x_coco.pdparams && mkdir weights && mv rtdetr_r50vd_6x_coco.pdparams ./weights
# 测试看能否正常 infer，测试图片自行替换下
python tools/infer.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml -o weights=https://bj.bcebos.com/v1/paddledet/models/rtdetr_r50vd_6x_coco.pdparams --infer_img=bus.jpg修改配置文件
首先，进入文件路径 【PaddleDetection/configs/rtdetr/base/rtdetr_r50vd.yml】修改 DETR 的导出配置：
其次，进入文件路径 【PaddleDetection/ppdet/modeling/architectures/detr.py】将后处理输出合并下，便于部署
注意，此处输出的 score 默认是没有归一化的，如果想一步到位的可以直接加 sigmoid 处理下。不过问题不大，因为我们的部署代码已经植入了自动判断，可根据输出值动态适配，此处可加可不加。另外，默认的导出方式是静态的，如果想改成动态Shape，只需调用 【PaddleDetection/scripts/paddle_infer_shape.py】函数修改
--input_shape_dict="{'image': [-1, 3, -1, -1]"即可，这里 -1 代表动态输入。
最后，直接导出模型权重即可：
python tools/export_model.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
-o weights=https://bj.bcebos.com/v1/paddledet/models/rtdetr_r50vd_6x_coco.pdparams trt=True \
--output_dir=output_inference转换模型格式
pip install onnx==1.13.0
pip install paddle2onnx==1.0.5
paddle2onnx --model_dir=./output_inference/rtdetr_r50vd_6x_coco/ \
--model_filename model.pdmodel \
--params_filename model.pdiparams \
--opset_version 16 \
--save_file ./output_inference/rtdetr_r50vd_6x_coco/rtdetr_r50vd_6x_coco.onnx此处我们仅以 ONNXRUNTIME 进行演示，对于想部署到 TensorRT 平台的可直接参考 PaddleDetection 官方提供的转换脚本，部署流程都差不多，只需要按照此工程写好预处理和后处理即可。
使用 onnxsim 简化输出并用 netron 打开检查下：
pip install netron
pip3 install -U pip && pip3 install onnxsim
onnxsim input_onnx_model output_onnx_model| Origin | Modify |
|---|---|
 |
 |
左边是不做任何处理的原始导出模型，右边是经过适当调整后的导出模型。
Python 部署
这一块比较简单，经过上面的操作系统应该已经默认安装了onnxruntime库了，接下来我们只需照着下面的代码运行下即可。
$ git clone https://github.com/CVHub520/rtdetr-onnxruntime-deploy.git
$ cd rtdetr-onnxruntime-deploy
$ mkdir weights && cd weights
$ wget https://github.com/CVHub520/rtdetr-onnxruntime-deploy/releases/download/v1.0.0/rtdetr_r50vd_6x_coco_cvhub.onnx
$ cd ../python
$ python3 main.pyC++ 部署
安装编译
ONNXRUNTIME，以Linux环境为例。
首先，下载源码：
git clone https://github.com/Microsoft/onnxruntime
cd onnxruntime/在安装之前，我们先进入到 onnxruntime 目录，其中 build.sh 文件为编译脚本，先打开看看：
#!/bin/bash
# Copyright (c) Microsoft Corporation. All rights reserved.
# Licensed under the MIT License.
# Get directory this script is in
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
OS=$(uname -s)
if [ "$OS" = "Darwin" ]; then
DIR_OS="MacOS"
else
DIR_OS="Linux"
fi
if [[ "$*" == *"--ios"* ]]; then
DIR_OS="iOS"
elif [[ "$*" == *"--android"* ]]; then
DIR_OS="Android"
fi
#requires python3.6 or higher
python3 $DIR/tools/ci_build/build.py --build_dir $DIR/build/$DIR_OS "$@"可以看出，这个处理逻辑只是先判断当前系统环境，针对不同运行平台进行编译，主要编译选项在 tools/ci_build/build.py 文件下，打开文件后，我们重点看下 parse_arguments() 函数的参数说明。具体地，我们挑几个比较常见的讲讲：
--build_dir：用于指定编译后的库文件存放路径，不可缺省，此处指定在DIR_O 目录下；
--config：有四种模式，即["Debug", "MinSizeRel", "Release", "RelWithDebInfo"]，例如 MinSizeRel 顾名思义便是优化目标文件的大小，而 RelWithDebInfo 则表示带 Debug 信息的原始目标文件，Release 即发行版，其目标文件大小介于这两者之间。一般可直接按默认，或者根据自己需要选择即可，例如我们这里直接选用 Release 版本。
--parallel：是否开启多核编译，建议开启，不然编译速度贼慢；
--skip-tests：单元测试，建议开启，直接跳过；
--use_cuda：如果需要使用 cuda 加速，就开启；注意，如果开启了此项，需要指定 --cuda_home 和 --cudnn_home 的路径，默认存放在 /usr/local 目录下；
--build_shared_lib：是否编译成动态库，默认是编译静态库；
Default behavior is --update --build --test for native architecture builds.
Default behavior is --update --build for cross-compiled builds.
--use_tensorrt：是否使用tensorrt加速，若开启，需要指定 --tensorrt_home 参数。
没问题的我们可以根据自己需要选择合适的编译参数，此处 cuda 和 cudnn 路径需改为自己本地上的路径！：
./build.sh --skip_tests --use_cuda --config Release --build_shared_lib --parallel --cuda_home /usr/local/cuda-11.7 --cudnn_home /usr/local/cuda-11.7注意，此过程会涉及到很多文件的下载，如果 git 访问很慢会导致多次中断，这时候可以多次重复运行下，若一直网络失败请参考问题汇总。运气不好的话，整个过程可能需要花费数个小时，请耐心等待。
安装编译
OpenCV环境。
安装步骤可参考此教程: https://zhuanlan.zhihu.com/p/392751819
下载工程
$ cd rtdetr-onnxruntime-deploy
$ mkdir weights && cd weights
$ wget https://github.com/CVHub520/rtdetr-onnxruntime-deploy/releases/download/v1.0.0/rtdetr_r50vd_6x_coco_cvhub.onnx
$ cd ../cplusplus注意：要构建项目，请确保正确安装了 onnxruntime 和 opencv。然后，按照指示运行命令。不要忘记更新 CMakeLists.txt 文件中的 ONNXRUNTIME_DIR 和 OpenCV_DIR cmake 选项以匹配您的自定义环境。
$ mkdir build && cd build
$ cmake ..
$ make
$ ./main
# ./main --use_cuda结果展示
| Python | C++ |
|---|---|
 |
 |
边框坐标完全对齐，精度几乎没有损失。
总结
本文简单的为大家介绍了 RT-DETR 模型的一些基本概括，同时演示了如何基于 Python 和 C++ 在本地环境进行部署。完整的项目代码请访问 Github 地址，有任何疑问请加微信: cv_huber，备注“RTDETR”进入交流群讨论。最后，也欢迎大家点个 star 鼓励支持一下，感谢各位小伙伴长久以来的支持！
视频课程来了！
自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）
（扫码学习最新视频）
国内首个自动驾驶学习社区
近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！
【自动驾驶之心】全栈技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；
添加汽车人助理微信邀请入群
备注：学校/公司+方向+昵称