目标检测综述 “Object Detection in 20 Years: A survey“

论文链接

目录

摘要

1 目标检测的主要方法

1.1 Viola Jones Detector

1.2 HOG Detector

 1.3 Deformable Part-based Model(DPM)

1.4 RCNN

1.5 SPPNet

1.6 Fast RCNN

1.7 Faster RCNN

1.8 特征金字塔网络

1.9 YOLO

1.10 SSD

1.11 RetinaNet

2 目标检测的数据集以及衡量标准

2.1 目标检测数据集

2.2 目标检测衡量标准

3 模型加速的方法 

4 目标检测近期的成果

4.1 主干网络

4.2 特征融合

4.3 不再使用滑动窗口

4.4 目标定位上的进步

4.5 使用语义分割来帮助目标检测

4.6 让模型对目标的旋转和大小变化更加鲁棒

4.7 让模型从零开始训练

4.8 对抗训练

4.9 弱监督学习


本文只对目标检测的各个方向和阶段进行大致梳理,不涉及或只简要概括算法。在原来论文的基础上,加上了我自己的一些理解。

摘要

在目标检测领域,甚至在计算机视觉领域,2014年可以说是一条很明显的分界线。在2014年以前,提取图像的特征主要是以人工的方式,但在2014年之后,随着深度学习的蓬勃发展,计算机视觉迎来了一波小高潮。本文主要从一下几个方面阐述了目标检测在1990年至2019年期间的发展历程:

  1. 一些具有里程碑意义的目标检测器
  2. 目标检测的数据集
  3. 衡量标准(metrics)
  4. 一些用于目标检测的基本神经网络模块(blocks)
  5. 模型加速的方法(加快检测速度)
  6. 当下(2019年)一些最为先进的目标检测方法
  7. 目标检测的应用(行人检测、人脸检测、文本检测等)

1 目标检测的主要方法

下面以时间线来梳理各个目标检测方法的大致内容:

目标检测综述 “Object Detection in 20 Years: A survey“_第1张图片

1.1 Viola Jones Detector

Viola Jones Detector (简称VJ detector)是以滑动窗口的方式来进行人脸检测,VJ detector主要用了三种方法来提升检测的速度:图像积分(integral image)、特征筛选(feature selection)、多级检测(detection cascades)。
图像积分:让计算复杂程度与窗口的大小无关。
特征筛选:使用Adaboost算法来筛选一些最能表示人脸的特征。
多级检测:减小在背景上的运算开支,将更多的算例集中到人脸上。

1.2 HOG Detector

参考

HOG(Histogram of Oriented Gradients)检测器是用来检测对于物体大小不敏感的特征和形状型下文。为了让检测器对物体的平移、尺度大小、光照等不明显,该检测器大概的计算步骤如下:

  1. 对输入图片进行灰度化;
  2. 采用Gamma校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
  3. 计算图像每个像素的梯度(包括大小和方向);主要是为了捕获轮廓信息,同时进一步弱化光照的干扰。
  4. 将图像划分成小cells(例如6*6像素/cell);
  5. 统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell的descriptor;
  6. 将每几个cell组成一个block(例如3*3个cell/block),一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
  7. 将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(你要检测的目标)的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。
  8. 最后,使用SVM(支持向量机)对特征进行分类。

 1.3 Deformable Part-based Model(DPM)

DPM是传统目标检测方法的天花板,是HOG检测器的延申,DPM分为训练阶段和检测阶段。训练阶段可以看作是将目标分解的过程,检测阶段则是检测一个物体不同部位的集合。DPM算法采用了改进后的HOG特征,SVM分类器和滑动窗口(Sliding Windows)检测思想,具体检测流程可以看参考。DPM也是第一个能够调整先验框的算法。

1.4 RCNN

从RCNN开始,就进入了深度学习的阶段。RCNN的主要思路如下:

  1. 使用selective search对输入图片生成预选框(object candidate boxes);
  2. 对每个预选框内的图片进行resize,保证每个图片大小一致;
  3. 将resize后的图片输入CNN网络(AlexNet)进行特征的抽取;
  4. 使用SVM对特征进行分类;
  5. 对预选框进行非极大值抑制;
  6. 对bbox进行调整(有的预选框可能没有完全框住物体);

1.5 SPPNet

SPPNet主要介绍了一个对输入图片没有尺寸要求的神经网络层——Spacial Pyramid Pool Layer(空间金字塔池化层)。SPPNet可以用于图像分类也可以用于目标检测,这里主要说的是目标检测。在RCNN中的AlexNet要求输入图片的大小必须为224*224,而在SPP层的加入下,则没有了这一限制。SPPNet目标检测的大致思路是:

  1. 通过selective search生成一系列的预选框;
  2. 将整张图片输入网络,得到最后的feature map;
  3. 将步骤1生成的预选框对应至feature map上;
  4. 在feature map上直接对预选框里的内容使用SPPNet抽取特征;
  5. 使用SVM对特征进行分类;
  6. 对预选框进行非极大值抑制;
  7. 对bbox进行调整;

1.6 Fast RCNN

Fast RCNN又是在RCNN和SPPNet上的延续。Fast RCNN也是使用selective search进行预选框的生成,但是它可以在同一个网络上同时进行特征的提取和bbox的调整,这主要是得益于ROI Pooling层的引入,在网络最后的feature map上加入了ROI Pooling层(类似于1.5中的空间金字塔池化层),直接进行分类和bbox的调整。但是Fast RCNN仍然需要SVM进行分类。

1.7 Faster RCNN

Faster RCNN又是在Fast RCNN的基础上进行改善,主要的变化是引入了RPN(Region Proposl Network),使得网络不再依靠selective search获取预选框,而是直接通过RPN网络生成预选框,其根本原理就是在feature map上生成固定大小的anchors,让网络(全连接层)去判断这些anchors是否包含物体。其他的部分和Fast RCNN差不太多。

1.8 特征金字塔网络

特征金字塔网络(FPN)主要是解决了在不同层的feature map上的语义差异,高层的feature map具有更高的语义(比如属于人、背景等),而底层的feature map可能并没有那么高的语义(比如只关注轮廓、颜色、形状等)。这极大地促进了多尺度目标检测器的发展(例如Yolo)。

1.9 YOLO

YOLO至今一共有V1-V5五个版本,前三个版本为同一个作者(这个作者叫Joseph Redmon,很有个性,有兴趣可以去查一下),YOLO的主要特点就是快,精度略逊色于Faster RCNN。YOLO主要思想是将图片分成许多不同尺度的小网格(YOLOv3中是将图片分成了三个尺度:13*13、26*26、52*52),在每个不同尺度的小格内直接预测小格内的物体种类以及bbox的位置。但是YOLO的不足就在于对于一些小目标的检测效果极差,但后续版本的YOLO也进行了改进。

1.10 SSD

SSD(Single Shot MultiBox Detector)主要引入了Multi-reference和Multi-resolution来解决小目标检测精度差的问题,基本思想就是预先生成一些列不同大小的anchors(锚框),在训练阶段对anchors进行调整。

1.11 RetinaNet

RetinaNet主要提出了一种新的损失函数——focal loss,这种损失函数能够让网络更加关注一些更难的样本。

2 目标检测的数据集以及衡量标准

2.1 目标检测数据集

一下是一些主流的数据集,另外这篇综述论文还介绍了一些小众的数据集(比如交通信号灯、文本等)这里就不列举了。

目标检测综述 “Object Detection in 20 Years: A survey“_第2张图片

2.2 目标检测衡量标准

如何衡量一个目标检测算法的好坏呢?在2014年以前,主要是使用FPPW(false positives per-window),但在2014年以后,主要使用的是mAP。

3 模型加速的方法 

模型加速主要涵盖以下几个方面:

  • 共享feature map(对整张图只提取一次特征,在最后的feature map上进行检测)
  • 减轻分类时的计算量(主要是讲如何减轻SVM的计算量,现在基本上不用SVM了)
  • 使用级联检测(Cascaded Detection)
  • 减枝和量化(对神经网络进行裁剪或者近似)
  • 轻量化网络设计(设计一个参数量更少、运算简便的网络)
  • 数值加速(numerical acceleration)(图像积分、在频域中进行计算、矢量量化、)
  • 对全连接层进行低秩分解

4 目标检测近期的成果

4.1 主干网络

目标检测效果的好坏很大程度上依赖于主干网络的好坏,自2015年以后,很多优秀的主干网络都被发明了出来,例如:AlexNet, VGG, GoogLeNet, ResNet, DenseNet, SENet等

4.2 特征融合

4.3 不再使用滑动窗口

例如YOLO算法,并没有依赖于滑动窗口进行检测,而是直接利用feature map进行多尺度检测。

4.4 目标定位上的进步

很多优秀的目标检测算法在检测完成之后会对bbox进行调整,也针对这一调整设计了一些损失函数。

4.5 使用语义分割来帮助目标检测

4.6 让模型对目标的旋转和大小变化更加鲁棒

4.7 让模型从零开始训练

这里主要是说很多时候使用预训练好的模型进行fine tuning可能效果并没有从零开始训练好,因为预训练使用的数据集和你自己训练的数据集可能存在很多差异。

4.8 对抗训练

这里主要是讲了一下GAN网络

4.9 弱监督学习

你可能感兴趣的:(论文阅读,目标检测,人工智能,计算机视觉)