ROI Pooling 和 ROI Align

参考 https://blog.csdn.net/u011436429/article/details/80279536
注意：在ROI Pooling中下取整会损失空间对称性。与之相对，在ROI Align中双线性插值(BILinear)用于原图和feature map对应位置的缩放, 可保证空间对称性(Alignment)。

目标检测architecture通常可以分为两个阶段：
（1）region proposal：给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest（ROI），在这一过程中用到的方法是基于滑窗的方式和selective search。
（2）final classification：确定上一阶段的每个region proposal是否属于目标一类或者背景。

ROI pooling层能实现training和testing的显著加速，并提高检测accuracy。该层有两个输入：

• 从特征提取网络中获得固定大小的feature maps；

• 一个表示所有ROI的N*5的矩阵，其中N表示ROI的数目。第一列表示图像index，其余四列表示其余的左上角和右下角坐标。

  
  
  

ROI pooling具体操作如下：
（1）根据输入image，将ROI四个顶点的坐标映射到feature map对应位置；
（2）将映射后的区域划分为相同大小的sections（sections数量与输出的尺寸如7*7相同）；
（3）对每个sections进行max pooling操作。
这样我们就可以从不同大小的方框（ROI）得到固定大小的相应的feature maps（ROI Pooling后输出的结果）。值得一提的是，输出的feature maps的大小不取决于ROI和feature maps的大小，而取决于输出维度的大小（如7×7）。ROI pooling 最大的好处就在于极大地提高了处理速度。

在ROI划分sections的时候，若边长为奇数，有的划分为相同大小而剩余部分忽略(如Caffe）；有的划分为不同大小，分割点为边长除以2并下取整。

RoIPooling、RoIAlign笔记

参考(https://www.cnblogs.com/wangyong/p/8523814.html)
一）、RoIPooling

这个可以在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map

先贴出一张图，接着通过这图解释RoiPooling的工作原理

针对上图

1)Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25

2)假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，如果你看过Caffe的Roi Pooling的C++源码，在计算的时候会进行取整操作，于是，进行所谓的第一次量化，即映射的特征图大小为20*20

3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，所以，将上面在 feature map上映射的20*20的 region proposal划分成49个同等大小的小区域，每个小区域的大小20/7=2.86,即2.86*2.86，此时，进行第二次量化，故小区域大小变成2*2

4)每个2*2的小区域里，取出其中最大的像素值，作为这一个区域的‘代表’，这样，49个小区域就输出49个像素值，组成7*7大小的feature map

总结，所以，通过上面可以看出，经过两次量化，即将浮点数取整，原本在特征图上映射的20*20大小的region proposal，偏差成大小为14*14的，这样的像素偏差势必会对后层的回归定位产生影响

所以，产生了替代方案，RoiAlign

二）、RoIAlign

这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的
先贴出一张图，接着通过这图解释RoiAlign的工作原理

同样，针对上图，有着类似的映射:
1)Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25
2)假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，此时，没有像RoiPooling那样就行取整操作，保留浮点数
3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，所以，将在 feature map上映射的20.78*20.78的region proposal 划分成49个同等大小的小区域，每个小区域的大小20.78/7=2.97,即2.97*2.97
4)假定采样点数为4，即表示，对于每个2.97*2.97的小区域，平分四份，每一份取其中心点位置，而中心点位置的像素，采用双线性插值法进行计算，这样，就会得到四个点的像素值，如下图

上图中，四个红色叉叉‘×’的像素值是通过双线性插值算法计算得到的.
最后，取四个像素值中最大值作为这个小区域(即：2.97*2.97大小的区域)的像素值，如此类推，同样是49个小区域得到49个像素值，组成7*7大小的feature map
总结：知道了RoiPooling和RoiAlign实现原理，在以后的项目中可以根据实际情况进行方案的选择；对于检测图片中大目标物体时(VOC2007)，两种方案的差别不大，而如果是图片中有较多小目标物体需要检测(COCO2017)，则优先选择RoiAlign，更精准些.