目标检测算法Q&A

1 Yolo和SSD的区别是什么？

回答：YOLO定位精度差，小目标检出率低；SSD是YOLO的多尺度版本，对小目标检出有改善。

2 R-CNN、Fast-rcnn、Faster-rcnn、Mask-rcnn的区别是什么？

回答：

（1）R-CNN使用selective search，然后对每个预选框做分类，缺点为穷举所有框很耗时；

（2）Fast-rcnn使用selective search，使用ROI Pooling操作将所有预选框映射到相同尺寸，然后做分类和回归；

（3）Faster-rcnn用RPN网络替代了selective search，其它的与Fast-rcnn相同，所以相对Fast-rcnn来说更快；

（4）Mask-rcnn用ROI Align替代了ROI Pooling，并增加了预测目标掩码的分支，其它的与Faster-rcnn相同。

3 RoI Pooling 和 RoI Align的区别是什么？

回答：

（1）来源比较

Faster RCNN中使用了RoI Pooling操作，统一所有region proposals的尺寸；

Mask-RCNN中使用了RoI Align操作，统一所有region proposals的尺寸；

（2）RoI Pooling

如下图，假设输入图像尺寸为800x800，目标尺寸为665x665，经过backbone网络后，特征图的尺寸为25x25，对应目标的尺寸为20x20（第一次量化），为了得到7x7的特征图，需要保证池化前特征图尺寸为7的倍数，因此从20x20的目标区域裁剪出14x14的子区域（第二次量化），然后将14x14的子区域切分成7x7的bins，每个bin的尺寸为2x2，分别对每个bin做max pooling便得到了7x7的特征图。

（3）RoI Align

如下图，假设输入图像尺寸为800x800，目标尺寸为665x665，经过backbone网络后，特征图的尺寸为25x25，对应目标的尺寸为20.78x20.78，然后将20.78x20.78的子区域切分成7x7的bins，从每个bin中分别采样4个点（将当前bin等分成2x2个小区域，每个小区域的center位置代表当前小区域的采样点，采样点的值使用双线性插值算法由相邻的4个整数坐标的像素值得到，参见下图），然后对每个bin做max pooling便得到了7x7的特征图。

（4）效果对比

RoI Pooling中包含了两次量化操作，导致定位精度不如RoI Align，参见Mask-RCNN原文，对比效果如下，

其中，AP指 “averaged over IoU thresholds”， AP50, AP75指 “AP at different scales”。显然，AP50提升了2.2个点，AP75提升了5.4个点，因此，RoI Align的效果优于RoI Pooling，并且对于定位精度要求较高的任务，效果提升更加明显。

4 目标检测后处理算法（NMS、Soft-NMS、Softer-NMS）的区别是什么？

回答：
（1）算法原理不同，参见后面的博文“目标检测算法后处理-从nms到softer nms”；
（2）适用的检测任务不同，NMS适用于类内间隔较大的目标检测任务，比如下图这样的数据集，NMS后处理的效果会很好，

5 FPN对特别小和特别大的目标，效果提升明显吗？

回答：
对于特别小的目标，FPN的深层完全丢失了语义信息；对于特别大的目标，FPN的浅层语义信息很少，所以不能做到信息互补，导致检测效果提升不明显。
“Although feature pyramids efficiently exploit features from all the layers in the network, they are not
an attractive alternative to an image pyramid for detecting very small/large objects. ” -参考文章，SNIP。

参考资料： https://arxiv.org/abs/1703.06870 http://kaiminghe.com/iccv17tutorial/maskrcnn_iccv2017_tutorial_kaiminghe.pdf