UAV实时目标检测系统的综述

自动目标检测和跟踪研究

自动目标检测和跟踪研究。这项工作分为三个阶段：

1-第一阶段：综合目标检测和跟踪框架
这[2]提出了一种新颖的自动多运动目标检测和跟踪框架，该框架实时执行，具有更高的精度，适用于无人机图像。该框架部署用于机载处理。该框架基于图像特征处理和投影几何，并在以下阶段执行。首先，检测并匹配FAST角点，然后使用最小中值平方估计来计算异常值特征。随后通过使用基于密度的空间聚类算法来检测运动目标。使用卡尔曼滤波器估计检测到的目标状态，而使用跟踪持久性检查的基于重叠率的数据关联机制来区分真实移动目标和错误检测。所提出的框架不涉及明确应用图像变换来检测潜在目标，从而导致增加的计算时间和减少配准误差。此外，基于数据关联决策的选择性模板更新机制确保维持代表性目标模板。此外，使用简要描述符进行目标定位可以增强框架的稳健性，并显着提高整体跟踪精度。定量结果在真实世界的无人机视频序列公开可用的DARPA数据集上进行。实验证明了所提出的框架在实际无人机目标检测和跟踪应用中的鲁棒性。基于数据关联决策的选择性模板更新机制确保维持代表性目标模板。此外，使用简要描述符进行目标定位可以增强框架的稳健性，并显着提高整体跟踪精度。定量结果在真实世界的无人机视频序列公开可用的DARPA数据集上进行。实验证明了所提出的框架在实际无人机目标检测和跟踪应用中的鲁棒性。基于数据关联决策的选择性模板更新机制确保维持代表性目标模板。此外，使用简要描述符进行目标定位可以增强框架的稳健性，并显着提高整体跟踪精度。定量结果在真实世界的无人机视频序列公开可用的DARPA数据集上进行。实验证明了所提出的框架在实际无人机目标检测和跟踪应用中的鲁棒性。定量结果在真实世界的无人机视频序列公开可用的DARPA数据集上进行。实验证明了所提出的框架在实际无人机目标检测和跟踪应用中的鲁棒性。定量结果在真实世界的无人机视频序列公开可用的DARPA数据集上进行。实验证明了所提出的框架在实际无人机目标检测和跟踪应用中的鲁棒性。

2-第二阶段：无人机影像中的增强目标跟踪
Presents [1]改进了适用于无人机图像的自动移动目标跟踪。PN学习用于通过利用新颖的结构约束来选择正样本和负样本来维持目标外观，其中数据关联决策被用作正（P）约束。在学习目标外观之后，使用级联分类器来在关联失败的情况下检测目标。所提出的框架使得能够在离开相机视野之后重新捕获目标并且有助于区分具有相似外观的目标，同时减轻漂移问题。利用公开的DARPA航空数据集获得的实验结果表明，与现有的手动初始化跟踪器相比，具有自动检测反馈的所提出的跟踪器实现了更好的回忆和平均重叠。

3-第三阶段：无人机图像中基于相关的滤波器跟踪
介绍了中提出的判别尺度空间跟踪与第一阶段建立的移动物体检测的集成。

挑战

无人机产业发展日益蓬勃,其应用领域仍在不断拓展.但无人机在执行军事侦察、消防、救灾、搜救等实时任务时,目标检测的精度和实时性决定了无人机飞行任务是以机毁人亡,还是以生命财产的延续而结束,成败就在一瞬间.受到负载、续航、航行环境、计算力等限制,无人机目标检测在这方面的研究进展缓慢,已成为制约无人机发展的瓶颈问题之一.当前,无人机目标检测算法面临以下难点和问题。
(1) 无人机快速移动的不稳定性造成航拍图像具有图像模糊、噪声多、运动目标可提取的特征信息少、易出现重复检测、目标误检等问题;
(2) 无人机从制高点进行图像采集时,图像中的检测目标一般较小,易出现小目标漏检情况;
(3) 随着无人机的不断移动,外界环境(比如光照、云、雾、雨等)的变化将会导致图像中目标特征的剧烈变化,增加了后续特征提取的难度;
(4) 无人机目标检测算法需要快速准确地检测出运动目标,因此算法应满足实时计算的要求.

发展

目前,基于深度学习的目标检测主要分为基于候选区域的目标检测算法和基于回归的目标检测算法: 基于候选区域的目标检测算法的计算过程是:首先,根据区域选择算法从输入图像中提取出 N远大于真实提取出的目标个数)个感兴趣区域(region of interest,简称 ROI);然后,利用多层卷积神经网络(convolutional neural network,简称 CNN)对上述的感兴趣区域进行特征提取,对提取到的特征进行分类;最后,利用 Bounding- box 回归器对输出窗口进行更正,得到最终结果.2014 年,Girshick 提出了 Region CNN(R-CNN)目标检测算法;2015 年,Girshick 提出了 Fast R-CNN和 Faster R-CNN;2017 年,何凯明提出了基于 Faster-RCNN 框架的Mask R-CNN目标检测算法等. 上述的基于候选区域的目标检测算法虽然精度很高,但实时性差,而不使用 RPN(region proposal network)网络的目标检测方法在速度方面更具优势,即基于回归的目标检测算法:对于给定的输入图像,直接在图像的多个位置上回归出这个位置的目标边框以及目标类别.Redmon 在 2016 年提出了 YOLO目标检测算法.随后,在此基础上,作者提出了改进版的YOLOv2.2016年,Liu提出的SSD算法结合了YOLO速度快和Faster R-CNN候选区域的优点,SSD 在不同特征图上进行分割,然后采用类似 RPN 的方式进行回归,在 VOC2007 数据集上最高可达到 74.3%的准确率,处理速度为 46 帧/s.该算法不仅保证了检测速度,也提高了检测的准确率. 2017 年提出的 DSOD基于 SSD 算法引入 DenseNet思想,mAP(mean average precision)为 77.7%,与 SSD300 相当,但检测速度为 17.4 帧/s,较 SSD300 的 46 帧尚有较大差距.2017 年,Jeong 提出 Rainbow SSD算法对传统的 SSD算法进行了改进,一方面利用分类网络增加了不同特征层之间的关联度,有效减少了重复区域;另一方面增加了特征金字塔中的特征图的个数,使其适用于小目标检测,其 mAP 达到了 77.1%,同时,速度也提高到 48.3 帧/s,效果比较明显.但该算法在融合不同特征层的特征信息时覆盖了整个网络结构,这样势必会引入冗余信息,增加了计算的复杂度.2018年提出的 YOLOv3算法通过多级预测方式改善了小目标检测精度差的问题,同时,采用简
化的 residual block 取代了原来 1×1 和 3×3 的 block,为无人机目标检测的应用场景的落地提供了更多的可能.

目前主流的YOLO和SSD在无人机的实施目标检测的发展势头任然很大。

公众号：从零归一（ID: zj201954yqx）关注了解更多专栏笔记。