深度学习: 从 RoIPooling 到 RoIAlign

SPP Layer

对RoI进行pooling的操作最早由SPPNet中的SPP layer提出:
深度学习: 从 RoIPooling 到 RoIAlign_第1张图片

对RoI进行pooling,使得检测网络可以输入任意size的图片。因为从输入图片到fc之间契入了对RoI的pooling,使得fc的存在也无法写死输入图片的size。

RoIPooling

2015年,Ross Girshick大神在Fast R-CNN中继承了SPP layer的精髓,并简化了该设计,提出了RoIPooling。旨在满足一次性训练 feature map的前提下,替代 R-CNNwraped region 的功能:
深度学习: 从 RoIPooling 到 RoIAlign_第2张图片

方位

在 Faster R-CNN 中,anchor经过优胜劣汰升级为RoI ,之后 输入 RoIPooling 进行 size归一化 。其中,RoIPooling 的 位置 如下:
深度学习: 从 RoIPooling 到 RoIAlign_第3张图片

缺陷

百密一疏。由于 RoIPooling 采用的是 INTER_NEAREST(即最近邻插值) ,即在resize时,对于 缩放后坐标不能刚好为整数 的情况,采用了 粗暴的四舍五入,相当于选取离目标点最近的点。

RoIAlign

诞生

Kaiming He 在他的论文Mask RCNN里指出,这样做会在一定程度上损失 空间对称性(Alignment),所以他们把 最近邻插值 换成了 双线性插值 。换完插值法的 RoIPooling 就有了一个更加高大上的名字 —— RoIAlign
深度学习: 从 RoIPooling 到 RoIAlign_第4张图片

弊端

SPP Layer及其后继的RoI Pooling、RoI Align的出现,使得Detection算法可以享受到“共享特征抽取”,从而免去了前半段网络的重复计算;然而该设计也导致了一个问题——后半段变成了RoI-wise subnetwork,依然无法共享计算,每输入一个RoI都需重复一次。

R-FCN针对这个痛病,将处理位置信息的任务交给了 “ position-sensitive score map ” (位置敏感得分图) 来做,从而炒了RoI Pooling的鱿鱼。

插值法

具体关于 双线性插值 的介绍可参见我的另一篇博客:图像处理: 五种 插值法。


[1] 论文阅读: R-FCN
[2] 图像处理: 五种 插值法

你可能感兴趣的:(深度学习,深度学习)