kaggle数据集汇总_【技术分享】无人机视觉检测算法研究及数据集汇总
点击上方 蓝字
关注 金翅创客
清风朗月，不期而遇
你会点蓝字关注我吗？
基于无人机视觉的目标检测具有巨大的商业潜力和广泛的应用领域。与地面检测相比，无人机检测在空中无遮挡，具有更广的视野，能监测的范围更大，而且无人机使用成本低、环境适应能力强，适用于交通路口监测、大型集会巡查、故障检测、复杂地形的受灾地区信息搜集等。
1
无人机目标检测的难点
1、数据集少。基于深度学习的无人机目标检测需要大量的数据来训练网络，无人机数据集以俯视视角为主，而大多数数据集以平视视角为主，不适合进行无人机的训练任务。
2、无人机在拍摄视角上存在一定的局限性。无人机通常以俯视的视角进行监视拍摄，特征提取角度过于单一。而且无人机离地面距离较远，待检测目标相对来说呈现出小目标的特点，小目标往往像素比较少，特征单一，在检测的时候容易出现漏检或者误检的情况。这就给无人机检测增加了一定的难度。
3、背景复杂，存在着目标遮挡，光线不足、相似形状物体干扰等因素。
以上的这些因素都给无人机检测带来巨大的挑战，传统的目标检测算法很难提取到足够好的特征来进行检测，而基于深度学习的无人机检测使得检测的准确率和适用范围获得了大幅度的改善。
2
无人机目标检测算法
目标检测算法分为传统的目标检测和基于深度学习的目标检测，基于深度学习的目标检测算法又分为one-stage和two-stage算法。two-stage即基于区域建议，将目标检测任务分成两步走，首先对图片提取特征并提取出可能存在目标的区域，然后再从提取出来的区域，进行内容的分类和目标边框的回归。One-stage省略了区域建议网络，直接由特征图预测目标类别的分类和位置框的回归。在相同能力计算下，虽然one-stage的检测精度比two-stage低，但是one-stage的检测速度更快，这两种算法皆有利弊。
目标检测算法常见的改进算法有：使用加权损失函数作为优化对象、进行多尺度训练、利用迁移学习对模型进行迁移等。
在two-stage算法中，以R-CNN为代表， R-CNN是首个应用在目标检测的模型算法，Faster R-CNN是R-CNN的升级版，Faster R-CNN算法能在一定程度上适应不同场景、不同尺度、不同外观等复杂情况，但是在复杂背景干扰、小尺度目标检测下会出现漏检或者虚警的情况。针对于小目标的问题，来自于沈阳理工大学的《基于深度学习的无人机地面小目标算法研究》中结合FPN的思想，以FPN与Faster R-CNN模型相结合的方式，即以FFRCNN模型为原型，重新定义anchor的基础大小，改善模型准确度，提升模型对过小目标的关注度，采用多尺度融合的方式，提升目标感受野，增强了模型的鲁棒性。最后通过与原模型对比实验发现，FPN与Faster R-CNN模型相结合的方式对于车辆密集停靠的情况下漏检率大大降低，在平均精度上，模型提升了19.7%。除此以外，在ICCV 2019 VisDrone挑战赛视频目标检测中，深兰科技北京 AI 研发中心的 DeepBlueAI 团队获得了冠军，其主要思想是：将Faster rcnn + DCN + FPN作为基本模块，将原有的head改为Double head，采用级联检测(Cascade rcnn)，Cascade rcnn将多个阈值越来越高的检测器串联，得到更好的效果；选择3个ResNeXt101 作为骨架，使用cascade rcnn coco预训练权重，采用多尺度训练。下面是作者的训练结果：
无人机的硬件计算能力比较弱，检测目标时需要实时检测，这就需要少量的算法参数、较少的内存和较短的推理时间，因此one-stage的检测模型更多用于无人机检测上。在One-stage检测模型中，用得比较多的是YOLO模型，包括它的改进版本：Tiny-YOLO、Mark-YOLO、SlimYOLO等，凭借YOLO网络检测速度快的优点，通过对网络模型进行裁剪，减少网络模型的参数量，使模型在精度和速度都得到比较好的效果。比较新、效果也比较好的一个算法是来自于北理工的SlimYOLOv3：更窄、更快、更好的无人机目标检测算法。SlimYOLOv3算法修剪了YOLOv3的改进版本，大幅度减少了模型的计算量和参数量，在相同检测精度的情况下，剪枝后的模型比原有的模型在运行速度上提升了两倍。其主要思想是：YOLOv3经过稀疏训练，得到各个通道的尺度因子，去除尺度规模比较小的通道，这就是剪枝过程。剪枝之后得到的模型SlimYOLOv3在数据集上微调，得到检测结果后再进行下一步的稀疏训练。剪枝过程不断地重复训练，一直到模型剪枝率达到一定的条件。下面是作者在VisDrone2018数据上的训练结果：
论文地址：
https://arxiv.org/pdf/1907.11093v1.pdf
代码地址：
https://github.com/PengyiZhang/SlimYOLOv3
3
无人机目标检测的经典数据集
DroneVehicle Dataset
该数据集由天津大学在一篇论文中推出的大型无人机航拍车辆数据集，该数据集面向的视觉任务主要是车辆检测和车辆计数。它的特点是：拍摄环境涵盖从白天到晚上，含有真实环境的遮挡和尺度变化，共有15532对(31064幅)图像，441642个标注实例。下面是天津大学发布的论文地址：
https://arxiv.xilesou.top/pdf/2003.02437.pdf，DroneVehicle 数据集地址：
https://github.com/VisDrone/DroneVehicle.下面分别是图像示例和标注示例。
DOTA Dataset
该数据集由武汉大学于2017年11月28日在arXiv上发布，在2018年6月在IEEE计算机视觉和模式识别会议上发布，一共2806幅航拍图，包含不同尺度、方向和形状的物体，每张图片的像素尺寸在800*800到4000*4000的范围内。样本类别及数目如下(与另一个开放数据集NWPU VHR-10对比)：
下载地址(提示：用迅雷打开)：
magnet:？xt=urn:btih:AD823417DC70658B89CD803584F6B6809EA9D3CB
AU-AIR Dataset
该数据集是首个用于目标检测的多模态无人机数据集，可用于目标检测、交通监控等场景，该数据拥有多模态数据，包括时间、GPU位置、IMU等参数。包括小于2小时的原始视频、32823个已经标注好的图像帧、132034个对象实例、8个与交通监控相关的对象类别，其中标签还标注了时间、GPS、IMU、高度、线速度等参数。
论文链接：https://arxiv.org/abs/2001.11737
官网链接：https://bozcani.github.io/auairdataset
数据集可从百度云盘下载：
https://pan.baidu.com/s/1hrF6DuU7f_CcBPLvZMJW5g
提取码：g6vj
VisDrone Dataset
VisDrone 2020数据集是由天津大学机器学习与数据挖掘实验室AISKYYE队伍负责收集，全部数据都是由无人机获取，数据收集来自于全国14个城市，由400个视频组成，包括265228帧和10209幅静态图片，在目标检测中总共包括10类目标，如行人、人类、小车、厢式货车、公交车、货车、摩托车、自行车、有篷三轮车和三轮车，这些数据集还提供了场景可见性、对象类别和遮挡等重要属性。VisDrone数据集与其它数据集不同之处在于，每张图片中并不是含有单一的几个物体而已，而是含有大量的检测物体，总共含有260万个标注框，这些物体还会出现重叠的情况，有的目标还比较小，这就给模型产生anchor的能力形成了很大的挑战。官方网址：http://aiskyeye.com/
4
比赛推荐
VisDrone 挑战赛
VisDrone 挑战赛每年举办一次，今年8月份在英国格拉斯哥举行ECCV 2020研讨会“Vision Meets Drone：A Challenge”(简称VisDrone2020)上进行，任务是从无人机获取的视觉数据中进行物体检测、跟踪和计数。VisDrone2020数据集由天津大学机器学习与数据挖掘实验室的AISKYEYE团队收集。一共有四个任务：基于图像的目标检测、单目标跟踪、多目标跟踪以及人群计数。大赛网址：http://aiskyeye.com/
国际空中机器人大赛(IARC)
国际空中机器人大赛(IARC)是世界上历史最悠久的大学空中机器人挑战赛，其根本目标是通过设置具有挑战性的、实用而有意义的比赛任务推进空中机器人最先进技术的进步。目前，IARC是第八代任务，任务8具有如下特性：非电子人机交互能力(即对无人机的非电子控制，如语音控制，手势控制等)；通过机群上传感器的信息融合，增强操纵人员的态势感知能力；机群间交互能力；空中目标辨识能力；不同空中机器人在同一片空域中执行不同任务时彼此的交互能力。
大赛官网：http://iarc.buaa.edu.cn/index.htm
5
相关参考文献
[1] Ren S , He K , Girshick R , et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6):1137-1149.
[2]Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.
[3] Zhang P , Zhong Y , Li X . SlimYOLOv3: Narrower, Faster and Better for Real-Time UAV Applications[J]. 2019.
[4]Cai Z, Vasconcelos N. Cascade r-cnn: Delving into high quality object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 6154-6162.
[5]Zhang S, Chi C, Yao Y, et al. Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 9759-9768.
[6] Lu X, Li Q, Li B, et al. MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection[J]. arXiv preprint arXiv:2009.11528, 2020.
往期 · 推荐
●【学生天地】如何用Matlab画出漂亮的插图？
●【技术分享】目标跟踪技术研究与数据集汇总及相关算法推荐
●【技术分享】SLAM技术研究与数据集汇总及相关项目推荐
●【学生天地】真实到扎心：解读Science给博士新生的几点期望
欢迎全国高校和企业的志道同合的小伙伴们有智能科技方面的内容在我们这里展示，感兴趣的同学也可以加入我们金翅创客实验室。
联系方式：[email protected]
声明欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注信息来源为金翅机器人与人工智能创客实验室。本号转载信息旨在分享学习交流，未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请及时联系本号处理。最终解释权归金翅创客所有。
FOLLOW
扫二维码｜关注我们
内容 | 钟秋云
编辑 | 钟秋云
排版 | 钟秋云
审核 | 贺王鹏
记得分享、点赞、在看三连哦～
点击“阅读原文”