关于目标检测的那些事儿（2） —— 关键技术 ^_^

近年来，尤其是深度学习出现之后，自然图像目标检测领域取得了一系列突破性的进展。早期的目标检测算法通常将检测视为一个在图像多个尺度上“滑动窗口遍历+目标背景二分类”的问题。因此，人们常常重点解决特征的表达能力、特征提取的时间效率、多尺度问题的加速方法等问题。最近几年提出的基于深度学习的检测算法则通常是在以下几个问题上寻求技术突破：

【关键技术1】 多尺度检测方法

目标检测中的“多尺度”问题包含了“不同大小”和“不同长宽比”两方面的内容。早期的目标检测算法，如VJ检测器检测人脸、HOG检测器检测行人都是针对特定长宽比目标所设计的检测算法，所以并没有考虑“不同长宽比”这一层面的问题；而中后期的目标检测算法开始更多关注于一般性目标的通用检测算法，即开始关注检测“不同长宽比”的目标。下图显示了自然图像目标检测的多尺度检测方式发展流程。

目标检测的多尺度检测方式发展流程：

从近20年的目标检测工作来看，处理多尺度的问题采用的方法经历了从最早的“多尺度积分图特征”，到之后的“特征/滤波器金字塔遍历”，再到后来的“Object Proposals”，最后到如今的依靠“深度网络暴力回归”四个阶段的发展历程。

早期检测算法如VJ检测器在处理多尺度问题时，并没有采用“建塔”这一最直观的思路。这是因为这种做法在计算能力有限的时代无法承受如此大的计算量。所以，VJ检测器不得不采取积分图这一种巧妙的方法来解决该问题。在VJ检测器出现之后的几年里，随着硬件计算能力不断提升，更多的人尝试使用更加复杂且表达能力更强的特征进行目标检测。但遗憾的是，高度非线性的特征表示如HOG、LBP等并不具有积分图特征类似的性质，所以人们开始把思路转向了“构建金字塔+滑窗遍历”这一最直观的处理方式。从HOG检测器到DPM，甚至后来的深度学习检测算法Overfeat都是通过这种方式构建的。

需要强调的是，通过建塔的方式只能处理特定长宽比目标的检测问题，例如人脸检测、行人检测等。对于如VOC、MSCOCO等一般性目标检测问题，如果构建不同长宽比、不同尺度的特征金字塔，其计算量直到今天也是难以接受的。不过，DPM虽然没有构建不同长宽比的金字塔，但却可以处理一般性目标检测问题。这是因为DPM采用了Mixture Model这种特殊的处理策略。

随着人们需要检测的目标类别越来越多，目标形态越来越多样化，人们开始思考，是否能够利用一种统一的“粗检测”模型来处理不同长宽比和不同类别的目标？Object Proposals提供了一种很好的解决思路。Object Proposal的检测指的是利用较低的计算量实现对图像中所包含的一般性目标的包围框进行准确定位（不局限与具体的目标类别，也不局限于固定的长宽比）。Object Proposals在近两年基于深度学习的目标检测算法中起到了非常重要的作用。从R-CNN到Fast-RCNN再到Faster-RCNN，Object Proposals从最开始独立的算法模块逐渐演变到最后与网络融为一体。

随着GPU计算性能的提升，人们处理多尺度问题的方法变得越来越直接越来越暴力，而这种暴力在基于一体化卷积网络的检测方法（如YOLO）中达到了顶峰。采用深度网络暴力回归解决多尺度问题的思想非常简单，即直接利用深度网络在目标对应位置提取的特征对其包围框的长宽进行回归。这种做法的优点是设计简单，计算量小，先提条件是图像感受野足够大且深度特征表达能力足够强，缺点是对小目标的包围框定位不够准确。

【关键技术2】 包围框坐标回归

特征的平移、尺度不变性以及定位的准确性一直以来都存在着矛盾。早期的检测算法大多采用低层手工特征，更多关注于图像的边缘、轮廓等信息。这类特征的平移、尺度不变性较差，但对目标进行精确定位时有着天然的敏感性，可对目标边界进行准确的定位。而基于深度学习的检测算法中采用的深度特征由于其具有更强的平移不变性和尺度不变性，随之带来的问题是对目标包围框定位的先天能力不足。下图显示了目标检测中包围框回归技术的发展过程。

对于早期基于手工特征的检测算法以及后来基于Object Proposals的检测算法（如DPM、R-CNN、Fast-RCNN）而言，包围框坐标回归仅仅是作为一种刷榜时提分的手段，这种操作对于检测问题仅仅起到了锦上添花的作用，可有亦可无。然而从Faster-CNN开始，情况发生了转变，这是由于包围框回归不再是一个单独的后处理模块，而是集成在了网络中，并采用多任务损失函数同分类任务一同进行训练。现如今包围框回归已经是算法流程中不可替代的一个标准环节。最近的一些算法在包围框回归精度的提升方面取得了一些成果，比如多次包围框坐标修正、以及概率推断在包围框坐标预测中的应用等。

目标检测的包围框回归技术发展流程：

【关键技术3】 加速策略

目标检测算法的加速一直以来都是该领域一个非常重要的问题。一般来讲，人们对算法的加速通常体现在两个层面，第一个层面是从算法原理角度出发，设计低计算复杂度的算法，并尽可能减少重复计算的开销；第二个层面是从硬件实现层面出发，采用更高并行粒度的算法，并通过多核并行计算提升计算速度，如利用GPU加速。早期的检测算法在目标检测的计算原理方面做了很多加速工作，而后期的深度学习的检测算法的计算量虽然比早期算法要大，但依靠硬件计算能力的提升已经可以轻松实现实时检测的速度。下图显示了自然图像目标检测算法的常见加速策略。

目标检测算法的加速策略一览：

 通常在目标检测算法当中，特征提取部分的计算开销较其他环节的比重最大，所以近年来人们在特征提取层面的加速工作最多，加速效果也最为显著。传统的基于滑动窗口的检测器会在每个尺度的图像上以一定步长移动，并在每个窗口上做特征提取操作。由于相邻滑窗之间通常有很大面积的交叠，因此交叠部分的特征就会存在大量的计算重复。为了解决这个问题，通常在滑窗之前，都会在图像上只整体计算一次特征图（Feature Map），以避免后面滑窗时对特征进行重复提取。事实上，传统目标检测算法中的“图像金字塔”也可以理解为“特征金字塔”，HOG检测器和DPM都是在特征金字塔上进行检测的。值得一提的是，最近几年基于深度学习的目标检测算法，除了R-CNN之外，其余的也都利用了该加速思想。