毕业设计-基于深度学习的视觉多目标跟踪

目录

前言

课题背景和意义

实现技术思路

一、基于深度学习的视觉多目标跟踪

 二、基于深度学习的DBT算法

三、基于深度学习的JDT算法

实现效果图样例

最后

---

前言

    大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

基于深度学习的视觉多目标跟踪

课题背景和意义

视觉多目标跟踪是计算机视觉领域的热点问题，然而，场景中目标数量的不确定、目标之间的相互遮挡、目标特征区分度不高等多种难题导致了视觉多目标跟踪现实应用进展缓慢。近年来，随着视觉智能处理研究的不断深入，涌现出多种多样的深度学习类视觉多目标跟踪算法。因为人工智能技术的飞速发展，基于计算机视觉技术的智能监控系统、自动驾驶领域较以往取得了重大的突破，进一步减少了人力资源的浪费，提高了安防和交通领域的安全性。视觉多目标跟踪技术是这些领域中的关键基础性技术之一，视觉多目标跟踪算法的准确鲁棒性对于进一步提升高层智能应用的安全有效性具有重要意义。然而，当前视觉多目标跟踪技术还面临着较大的挑战，首先，视觉多目标跟踪需要解决单目标跟踪中存在的诸如目标形变、场景环境变化等挑战之外，还面临着由于目标数量不确定所带来的实时目标数量更新及维持目标各自身份（Identity，ID）的任务，因此视觉多目标跟踪还需要处理更为复杂关键的问题。

实现技术思路

一、基于深度学习的视觉多目标跟踪

基于深度学习的视觉多目标跟踪算法分类

当前基于深度学习的视觉多目标跟踪技术框架呈现较为两阶段模式，即基于目标检测结果进行数据关联实现多目标跟踪的 DBT 模式与基于深度学习的JDT模式 。再具体分析两种模式的结构，阐述深度学习 在这两种框架中实现的功能。

数据集

深度学习相较于传统机器学习方法的优势在于自动学习给定数据中适用于指定任务的特征，数据集对于基于深度学习的计算机视觉方法非常重要。因此，对当前在视觉多目标跟踪任务中常用的数据集进行搜集概述得到结果：

 二、基于深度学习的DBT算法

DBT由于相似度分析与特征提取同步进行，因此下面根据深度学习在目标检测、特征提取、数据关联3个主模块中实现的功能和在多目标跟踪中提高的性能效果展开论述。

基于深度学习目标检测的DBT算法

随着卷积神经网络（ Convolution Neural Networks ， CNN）模型不断发展完善基于单帧图像检 测能力的增强，多目标跟踪任务呈现出从初始的关注计 算量复杂的数据关联优化算法如联合概率数据关联和多假设跟踪趋向于依赖于检测结果的DBT框架。

SOR 是最早利用卷积神经网络检测行人的多目标跟踪算法之一，但是该算法造成对于目标的相互遮挡适应性不强，密集行人的跟踪效果较差，它的后续改良版本是 DeepSort，提高了目标遮挡情况下算法的表现，但也大幅度降低了算法的运行速度。后续由于 YOLO 系列具有更快的检测速度，YOLO在目标检测精度与目标速度上达到了均衡，也常被用为视觉多目标跟踪的检测模块。

基于深度学习特征提取的DBT算法

1） 基于深度学习的表观特征提取

首先提出了在多目标跟踪中使用深度学习提取表观特征的方法，提出了一个自编码器网络，用于改进提取的视觉特征，后使用孪生网络是当前提取 同类目标可区分表观特征的代表性网络。 当前获取目标 REID 特征的主流方式是基于损失函数的 REID算法，通过改进损失函数，获取更具同类目标区分度的表观特征。

2） 基于深度学习的运动特征提取

为了解决在复杂场景下，表观特征难以获取的情况，仅利用运动特征完成跟踪任务非常必要。例如在算法中用强化学习框架得到运动特征，没有采用任何视觉信息，该算法可以改善经

典算法性能受视觉特征影响很大的不足

基于深度学习数据关联的DBT算法

1）基于深度学习数据关联 DBT 算法分析

TrctrD15 算法直接根据视觉多目标跟踪的评价指标特性设置损失函数，设计了一个深度匈牙利网络，输入 相邻帧目标之间的距离矩阵，直接输出有利于提高评测 指标的代价矩阵，这种训练方式提升了多目标跟踪的性能指标。

2）基于深度学习数据关联算法轻量化分析

DBT 类算法中，由于检测模块与数据关联模块的分离，使得两个模块之间的融合度较差，检测模块与数据关联模块中存在较多的冗余，因此，JDT类算法框架可以降低两者间的冗余，通过共享同一网络结构，降低算法复杂度的同时通过增加子模块之间的耦合度还可以进一步增加算法的准确度。

三、基于深度学习的JDT算法

基于深度目标检测网络改进的JDT算法

最先尝试改进目标检测网络加入跟踪分支，将两阶段的R-FCN 目标检测网络的第一阶段所获得的多尺度特征图进行交互但是实质上仍然是两阶段的多目标跟踪算法，为了进一步融合提出全新的联合检测跟踪Tracktor++框架，将类似Faster R-CNN中的RPN模块用数据中的跟踪框与真实框替代利。

基于单目标跟踪融合的JDT算法

单目标跟踪算法中具备单个目标跟踪所应具备的运动与表观特征，随着单目标跟踪领域的快速发展，通过 LSST，借鉴单目标跟踪领域中快速精确的SiamRPN框架获取短期的轨迹特征，结合基于REID算法提取的表观特征具备长期稳定的特点，在抗遮挡性上算法表现良好。

ReID可以代替人脸识别来在视频序列中找到我要找到目标对象。那么他的应用就很广了，可以做安防，可以做个人定位，在商场上可以配合推荐系统，搭建出个性化的推荐服务等等。下面一张图可以生动的解释它在安防的一个应用场景。

基于深度特征融合复用的JDT算法

在基于 YOLO v3 检测算法的基础上，将原本基于预训练模型得到的表观特征提取网络嵌入为深度检测网络中的一部分，实现端对端的视觉多目标跟踪。 这种融合策略提高了多目标跟踪的准确度和实时性。

YOLO系列算法是当前目标检测领域的当红算法，是一阶段目标检测算法的经典代表，它使用 DarkNet53 作为骨干网络，DarkNet53 是 DarkNet19 的升级版本，分类准确率比肩 ResNet-101 和 ResNet-152，但是速度快了很多，网络层数也少了很多。

将特征金字塔与Darknet-53网络模型相结合，就有了Yolov3的主干网络。这里需要说明的是，在整个Yolov3网络中，没有池化层，只有卷积层，通过调节卷积步长控制输出特征图的尺寸。所以对于输入图片尺寸没有特别限制。以输入图像，在YOLOv3的Darknet-53网络中特征提取过程如下：

实现效果图样例

基于YOLOV3行人多目标跟踪：

 深度学习多目标跟踪算法：

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后