Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN

一. 源起于Faster

       深度学习于目标检测的里程碑成果,来自于这篇论文:

       Ren, Shaoqing, et al. “Faster R-CNN: Towards real-time object detection with region proposal networks.” Advances in Neural Information Processing Systems. 2015.

       也可以参考:【论文翻译】

       虽然该文章前面已经讲过,但只给出了很小的篇幅,并没有作为独立的一篇展开,这里我们详细展开并讨论其 网络结构、应用领域 及 后续改进。

       前面文章参考:【目标检测-RCNN系列】


二. 网络结构

       Faster RCNN的网络结构图如下:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第1张图片

       用的还是之前的图,其实对于这张图只需要记住一点:RPN网络,这是本文的核心贡献,RPN通过深度网络实现了 Proposal 功能,相较于之前的 SS(Selective Search)方法 和 EdgeBoxes 方法有很大提升。

       RPN 我们来看原论文的图:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第2张图片

       这张图虽然经典,但描述的并不太清楚,有些人可能看不明白,有几个关键点需要说明:

1)RPN 连接在 Conv5 之后

     参考网络结构图,先理解 Conv5,Conv5是前面经过4次conv和pooling。

     对于原图800*600的输入,Feature尺寸 变为[800/16,600/16] = [50,37.5],

     Conv5的输出维度为 256,Feature维度 为 256。

2)Anchor 生成与排序

     特征图采用滑窗方式遍历,每个特征像素点 对应K个 Anchor(即不同的Scale和Size),上述input对应的Anchor Count为 50*38*k(9) = 17100。

     对应如此多的 Anchor,需要通过置信度剔除大多数Candidate,通常保留100-300个就足够了。

     训练过程中通过IOU进行正负样本的选择,测试过程中置信度较低的被丢弃。

3)RPN 输出

     如上图所示,输出分为两部分,2K Scores + 4K Reg,基于 256d 的 intermediate 层,通过两个网络,同时进行 分类 + 回归,Scores提供了作为前景、背景目标的概率(2位),Reg提供了4个坐标值,标识Box位置。

     参考如下Caffe结构图,先通过3*3 的卷积核进行处理,然后1*1的卷积核进行降维,在 k=9 的情况下,每个像素对应生成 2*k = 18个 Scores 参数4*k = 36个 Reg参数

     整体上 1*1 卷积生成的特征是    分类W*H*18   &   回归W*H*36,其中 ReShape 是方便 Softmax 用的,可以忽略掉。

     Proposal层 根据 Softmax 输出(丢弃背景),结合对应 Anchor和Stride进行映射,将Box映射到原图,作为下一步 ROI Pooling 的输入。

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第3张图片

4)RPN 结合方式

     RPN 网络相对独立于卷积层,原文中通过 ImageNet 数据集进行预训练。

     微调时,分别固定 RPN参数 和 卷积网络参数,对另外的网络部分进行微调,也就是说,虽然 Faster实现了端到端的处理,但并未实现全局的 Fine Turning。

5)ROI Pooling

     提取到的 Proposal 作为输入送到 ROI Pooling 层,与 Conv5 特征图结合,即在特征图上标识出了 Proposal 的位置。

    > Smooth L1 Loss

        针对边框回归,可以描述为一种映射,即通过 变换函数 f,将原 Box A=(Ax, Ay, Aw, Ah) 变换为:

               f(Ax, Ay, Aw, Ah) = (G'x, G'y, G'w, G'h) ,如下图所示:

                Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第4张图片

        t 表示与Ground Truth之间的差异系数(ln 是为了减少w,h的误差比),公式描述为(其中红色框内 σ 为一般形式,=1 时与 Fast 一致):

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第5张图片

       ωin 和 ωout 作为开关控制当前项是否起作用。


三. 应用领域

       对于目标检测的研究分为两个方向,精度和效率,一方面以 Faster R-CNN为代表的RPN的方法在精度上不断刷新 mAP;另一方面,以SSD 和 YOLO v2 为代表的回归方法则是强调效率(或者说性价比),这两个方向在领域内都有着很大的应用场景。

       Faster RCNN的代表特征是Region Proposal,通过 RPN 将检测分成两步,提供 Proposal 和 Location+Class,Proposal 越准确,后面的复合Loss里 Class所占比例就越大,分类自然就更加准确。而回归方法没有 Proposal过程,通过 Location+Class直接回归+分类,反向传播误差在Location上面大范围回归,降低了分类占比,因此分类准确度不好保证,特别是对于小目标,检测精度比较差。

       检测精度是算法最核心的价值,即使是以效率为主的 回归方法 也会强调准确性,Faster 方法目前所实现的效率通常是 每秒3-5帧(GPU版本),这在非实时系统里面实际上也是足够使用的,比如在 农业上对于病虫害的检测,在医疗领域对于图像的后处理等等。

       实时系统的应用是更为广阔的市场,这也是为什么说目前有相当多的人持续投入研究,比如 ADAS、机器人、无人机等,这些领域对于 实时性、准确性、成本控制的要求 带来了不断刷新纪录的研究成果。

      Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第6张图片Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第7张图片

四. 后续改进

       关于 Faster RCNN 的改进比较多,我们将随时关注,保持更新。

       可以参考数据集排名:【KITTI】 【PASCAL VOC 2012】【COCO】

       Faster R-CNN 的三个组成部分思路包括:

1)基础特征提取网络

      ResNet,IncRes V2,ResNeXt 都是显著超越 VGG 的特征网络,当然网络的改进带来的是计算量的增加。

2)RPN

      通过更准确地  RPN 方法,减少 Proposal 个数,提高准确度。

3)改进分类回归层

      分类回归层的改进,包括 通过多层来提取特征 和 判别。


@改进1:ION

       论文:Inside outside net: Detecting objects in context with skip pooling and recurrent neural networks   【点击下载】

       提出了两个方面的贡献:

1)Inside Net

      所谓 Inside 是指在 ROI 区域之内,通过连接不同 Scale 下的 Feature Map,实现多尺度特征融合。

      这里采用的是 Skip-Pooling,从 conv3-4-5-context 分别提取特征,后面会讲到。

      多尺度特征 能够提升对小目标的检测精度

2)Outside Net

      所谓 Outside 是指 ROI 区域之外,也就是目标周围的 上下文(Contextual)信息。

      作者通过添加了两个 RNN 层(修改后的 IRNN)实现上下文特征提取。

      上下文信息 对于目标遮挡有比较好的适应

       来看结构图:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第8张图片

  > 多尺度特征

       本文不考虑 Region Proposal 的环节,只在 ROI 之后,从上图可以看到,分别从 3、4、5 层提取特征,然后再和 context得到的特征做一个连接(concat),这样做的依据是什么呢?作者给出了实验验证结果:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第9张图片

       可以看到 Conv2 是用不到的,和我们理解的一致(尺度太大),而特征提取是 通过 L2 Norm + Scale + 1x1 Conv 得到,因为不同 Feature 之间的尺度不一致,Norm 是必须的,通过 归一化 和 Scale 进行特征提取后,送到 FC全连接层进行 分类和回归,如上图所示。

  > Contextual 上下文

       和前面的多尺度的思路一样,上下文也不是一个新的概念,生成上下文信息有很多种方法,来看下对比示意:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第10张图片

       文中用的是 多维的概念,上图(d)(4-dir),如下图所示:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第11张图片

       与传统的双向 RNN 不同,文中 通过上下左右四个方向,并且通过两次 IRNN 来增加非线性,更加有效的结合全局信息,看实验效果:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第12张图片

 

@改进2:多尺度之 HyperNet

       论文:Hypernet: Towards accurate region proposal generation and joint object detection   【点击下载】

       基于 Region Proposal 的方法,通过多尺度的特征提取来提高对小目标的检测能力,来看网络框图:

    Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第13张图片

       分为 三个主要特征 来介绍(对应上面网络拓扑图的 三个红色框):

1)Hyper Feature Extraction (特征提取)

      多尺度特征提取是本文的核心点,作者的方法稍微有所不同,他是以中间的 Feature 尺度为参考,前面的层通过 Max Pooling 到对应大小,后面的层则是通过 反卷积(Deconv)进行放大。

      多尺度 Feature ConCat 的时候,作者使用了 LRN进行归一化(类似于 ION 的 L2 Norm)。

      抛开具体方法不表,对小目标检测来讲,这种多尺度的特征提取已经算是标配,下图证明采用 1、3、5 的效果要更优(层间隔大,关联性小)。

      Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第14张图片

2)Region Proposal Generation(建议框生成)

      作者设计了一个轻量级的 ConvNet,与 RPN 的区别不大(为写论文强创新^_^)。

       一个 ROI Pooling层,一个 Conv 层,还有一个 FC 层。每个 Position 通过 ROI Pooling 得到一个 13*13 的 bin,通过 Conv(3*3*4)层得到一个 13*13*4 的 Cube,再通过 FC 层得到一个 256d 的向量。

      后面的 Score+ BBox_Reg 与 Faster并无区别,用于目标得分 和 Location OffSet。

      考虑到建议框的 Overlap,作者用了 Greedy NMS 去重,文中将 IOU参考设为 0.7,每个 Image 保留 1k 个 Region,并选择其中 Top-200 做 Detetcion。

      通过对比,要优于基于 Edge Box 重排序的 Deep Box,从多尺度上考虑比 Deep Proposal 效果更好。

3)Object Detection(目标检测)

      与 Fast RCNN基本一致,在原来的检测网络基础上做了两点改进:

       a)在 FC 层之前添加了一个 卷积层(3*3*63),对特征有效降维;

       b)将 DropOut 从 0.5 降到 0.25;

      另外,与 Proposal一样采用了 NMS 进行 Box抑制,但由于之前已经做了,这一步的意义不大。

  > 训练过程

       采用了 联合训练(joint training)的方法,首先对 Proposal 和 Detection 分别训练,固定一个训练另一个,然后 joint 训练,即共享前面的卷积层训练一遍,具体可以参考原文给出的训练流程(这里不再赘述)。

  > 效率改进

       算法整体上和 Faster 运行效率相当,因为加入了多尺度的过程,理论上要比 Faster要慢,作者提出了提高效率的改进方法,将 Conv 层放在 ROI Pooling 层之前,如下图所示:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第15张图片

  > 实验效果对比

       通过对比可以看到 mAP 比 Faster 提高了 1%,主要是多尺度的功劳,其他可以忽略,这一点需要正视。

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第16张图片


@改进3:多尺度之 MSCNN

       论文:A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection    【点击下载】

       Caffe代码:【Github】

       论文首先给出了不同的多尺度方法(参考下图讲解):

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第17张图片

a)原图缩放,多个Scale的原图对应不同Scale的Feature;

      该方法计算多次Scale,每个Scale提取一次Feature,计算量巨大。

b)一幅输入图像对应多个分类器;

      不需要重复提取特征图,但对分类器要求很高,一般很难得到理想的结果。

c)原图缩放,少量Scale原图->少量特征图->多个Model模板;

      相当于对 a)和 b)的 Trade-Off。

d)原图缩放,少量Scale原图->少量特征图->特征图插值->1个Model;

e)RCNN方法,Proposal直接给到CNN;

      和 a)全图计算不同,只针对Patch计算。

f)RPN方法,特征图是通过CNN卷积层得到;

      和 b)类似,不过采用的是同尺度的不同模板,容易导致尺度不一致问题。

g)上套路,提出我们自己的方法,多尺度特征图;

      每个尺度特征图对应一个 输出模板,每个尺度cover一个目标尺寸范围。

  > 拓扑图

       套路先抛到一边,原理很简单,结合拓扑图(基于VGG的网络)来看:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第18张图片

       上面是提供 多尺度 Proposal 的子图,黑色 Cube 是网络输出,其中 h*w 表示 filter尺寸,c是分类类别,b是Box坐标。

       通过在不同的 Conv Layer 进行输出(conv4-3,conv5-3,conv6),对应不同尺度的 det 检测器,得到4个Branch Output。

           PS:作者提到,conv4-3 Branch比价靠近Bottom,梯度影响会比后面的 Branch要大,因此多加入了一个缓冲层。

  > Loss函数

       再来看 Loss 函数,对于 训练样本 Si =(Xi,Yi),其中 Xi 表示输入图像,Yi={yi,bi}表示 类别标签+Box位置,M代表不同的Branch,训练样本S按照尺度划分到不同的Brach,每个Branch权值不同,用a来表示。

       来看下面的公式:

        

          

         

       后面两个公式为最上面公式 子项的展开,公式2 中l(X,Y|W) 对应 分类Loss 和 Loc Loss的加权求和,公式3 Loc Loss 同样采用 Smooth L1 Loss,与Faster方法大致上没什么区别,此处不再展开。

  > Sampling

       样本的选择对于训练结果非常重要,本文采用多尺度训练,样本先划分到对应 Layer m,在对应Layer上 根据 IOU 划分为正负样本,S = {S+,S-},公式:

       

       对应每个Ground Truth (S gt),计算与每个 Anchor Box 的 IOU,结果 o*>0.5 表示正样本,o*<0.2 归类为负样本,其余丢弃。为了保证正负样本的比例,作者提出三种方法 对负样本进行筛选:1)随机采样;  2)按Score排序,保留 Top n个强负样本(Hard Negative);  3)一般随机采样,另一半Score排序;

       同样由于每个 Scale单独训练,可能会出现某个特定的 Scale 正样本不足,无法满足比例条件,即 S-/S+ >> λ,作者采用如下方法处理:

        

       通过一个加权的 Cross Entropy 来进行比例调节,思路比较好理解。

  > Training

       作者 Argue 了多尺度训练的必要性,强调针对 KITTI 这种 Scale 差异比较大的数据集,有比较大的意义。引入了一个 Two-Stage 的训练过程,通过不同的参数来达到好的训练效果(具体参数和迭代次数可以参考原文章)。

  > 检测网络

       与 RPN 网络对应的是检测网络,检测网络与上面的 RPN网络共享一个 主干网络(trunk CNN layers),如下图所示:

         Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第19张图片

       这上面有两点要说明:

1)通过在 conv4-3 后面添加一个 反卷积(Deconvolution),增加特征图的分辨率,提高了对小目标的检测精度;

2)加入 Object 的上下文(context)描述,对应上图的 蓝色 Cube,是对应Object(绿色cube)尺寸的1.5倍大小;

       特征图 通过全连接层后,输出为一个分类(class probability)加一个位置(bounding box)

  > 结果评估

       不同尺度上对目标 Recall 的影响:

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第20张图片

       Input size 对 Proposal Recall 的影响:

         Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第21张图片

       比较 state-of-the-art 的 Detection 结果(看来是不错):

        Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN_第22张图片


你可能感兴趣的:(深度学习,深度学习基础)