yolov5+deepsort目标检测与跟踪

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

关于yolov5+deepsort实现目标检测与跟踪中deepsort特征提取的一种折中方法C++


前言

提示:这里可以添加本文要记录的大概内容:

deepsort是一种基于深度学习的多目标跟踪算法,主要原理本文不再描述,网上内容较多,个人理解其主要思想是在传统的sort算法的基础上,添加一块待跟踪目标的特征信息,即目标的feature,这样在后续进行关联匹配的时候能提升准确率。目前网上较多的资源是基于https://github.com/RichardoMrMu/yolov5-deepsort-tensorrt这位大神提供开源程序,他的tensorrt为7的版本,最近由于项目中需要添加这个deepsort,但是开发的机器刚装完tensorrt8,实在不想捣鼓环境版本,又结合Tensorrt大佬提供的项目https://github.com/shouxieai/tensorRT_Pro/,其中关于人脸跟踪的程序,本文想出了一个比较折中的方案,借助OpenCV的DNN实现deepsort的feature抽取(主要是目前技术水平太菜了,对于Tensorrt的掌握还不够,只能用这种折中的方法先应付项目),最终效果还可以,关于借助Tensorrt部署yolov5,本文并不再描述,网上资源较多,本文只描述如何使用OpenCV的DNN实现deepsort的feature抽取。


提示:以下是本篇文章正文内容,下面案例可供参考

一、开发环境

Ubuntu18.04 + CUDA11.0 + cuDNN8.2 + TensorRT8.2 + OpenCV4.5.3
在安装OpenCV的过程中,需要将CUDA加速的部分编译进去,安装教程网上较多,可以先安装cmake-gui方便安装过程中配置,具体安装可以自行百度。

二、开始实战

1.将deepsort权重导出为.onnx

首先需要将deepsort算法中的权重文件导出为.onnx的格式
通过如下指令下载相关的开源程序

git clone https://github.com/RichardoMrMu/deepsort-tensorrt.git

然后进入到下载到的程序中,运行exportOnnx.py即可将deepsort的权重ckpt.t7转换为.onnx,在转换的过程中,请先看一下程序的内容,避免转换过程出错,转换完成之后,会生成一个deepsort.onnx的文件,将该文件复制到你的yolov5+deepsort工程文件夹中即可。

python3 exportOnnx.py

这个deepsort的权重ckpt.t7可以在下面链接中找到并下载
https://github.com/ZQPei/deep_sort_pytorch

2.主要程序

完成了上述权重的转换之后,即可通过如下的程序抽取到待跟踪目标的feature了,可以将此段程序添加进你的yolov5目标检测中,实现yolov5+deepsort目标检测与跟踪。

/** OpenCV一些头文件 */
#include 
#include 
#include 
#include 
#include 
......
int main(int argc, char** argv)
{
         ......
	   /** OpenCV DNN加载deepsort权重 */
       cv::String deepsort_onnx = "/home/xx/xx/xx/xx/xx/deepsort.onnx";    // 存放deepsort.onnx的路径
       const int inpWidth = 64;        // 设置网络的输入width
       const int inpHeight = 128;    // 设置网络的输入height
       cv::dnn::Net net;
       net = cv::dnn::readNet(deepsort_onnx);
       net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA);    
       net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA);    // 设置OpenCV的后端为CUDA,开启CUDA加速
       ......
       std::vector<DeepSORT::Box> boxes;
       DeepSORT::Box track_box;
       cv::Rect feature_track;             // deepsort跟踪时的feature特征
       cv::Mat feature_image;
       .......
       /** 加入目标跟踪 */
       track_box.left = result.left;
       track_box.top = result.top;
       track_box.right = result.right;
       track_box.bottom = result.bottom;
 #ifdef DEBUG
       printf("track_box.left=%.2f, track_box.top=%.2f, track_box.right=%.2f, track_box.bottom=%.2f", track_box.left, track_box.top, track_box.right, track_box.bottom);
#endif
       // 这边的判断条件可以简化一下,主要防止目标框出现在frame的外侧,这样后面扣图的时候会失败。
       if ((track_box.left > 0 && track_box.top > 0 && track_box.right > 0 && track_box.bottom > 0) && 
           (track_box.left < frame.cols && track_box.top < frame.rows && track_box.right < frame.cols && track_box.bottom < frame.rows)) 
       {
           feature_track = cv::Rect(result.left, result.top, (result.right - result.left), (result.bottom - result.top));    // 获取目标跟踪的feature
           feature_image = frame(feature_track);    
           cv::Mat blob;
           cv::dnn::blobFromImage(feature_image, blob, 1 / 255.0, cv::Size(inpWidth, inpHeight), cv::Scalar(0, 0, 0), true, false);
           net.setInput(blob);
           std::vector<cv::Mat> outs;
           net.forward(outs, net.getUnconnectedOutLayersNames());
#ifdef DEBUG
           std::cout << "+++++ outs.size=" << outs.size() << "+++++" << std::endl;
#endif
           track_box.feature = outs[0];
           boxes.push_back(track_box);
       }
       ......
       /** deepsort更新 */
       tracker->update(boxes);
       ......
       // 绘制结果图
       ......
}

总结

第一次写CSDN的文章,有点生疏,难免有点错误,希望各位看到的时候能够在下方评论指正,谢谢!大家有什么想法也可以在评论区评论交流。其实,本文也只是记录一下本人在项目实际开发的过程中想到的一个想法,并且实际操作了一下,如果对你的项目开发能起到一丁点的帮助,我将无比荣幸!其实,从deepsort的权重中可以看出,最终输出的是一个1x512的特征矩阵,在实际跟踪的时候,获取到了这个特征矩阵,并将其做一个转置矩阵,得到一个512x1的矩阵,两个一乘就有了一个值,通过这个值就加强了目标跟踪中的匹配准确性。在上方,本文说了,这个方法是由于本人技术太菜,并未完全掌握TensorRT想出来的一个折中方法,结合deepsort的原理,这个目标的feature其实在yolo检测目标的时候已经获得过了,那么我们能不能在yolo检测目标的时候,顺带把这个feature一并输出,就是说在推理yolo的时候,除了获得一个boundingbox,顺带再获得一个跟这个boundingbox相匹配的feature,相当于在程序中我最终输出的result的结构体中还包含一个feature的成员,这个feature只要是个1xn的矩阵即可,反正后面会做一个转置运算,当然了,这只是本人的一个想法,也不知道行不行,等后续掌握了TensortRT之后,再魔改一下yolo的推理程序,试试看看,本文先到此为止,感谢阅读!

你可能感兴趣的:(目标检测,人工智能,opencv,c++)