ROI Pool、ROI Align、PSROI Pool、PrROI Pool

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

基本概念

ROI
RoI(Region of Interest)是通过不同区域选择方法，从原始图像(original image)得到的兴趣区域，为进一步生成bounding box做准备。

bounding box
是指检测到目标的边界矩形框，由ROI生成。

量化
量化(quatization)是指将输入从连续值（或大量可能的离散取值）采样为有限多个离散值的过程。也可以理解为，将输入数据集（如实数）约束到离散集（如整数）的过程。

---

一、ROI Pool

RoiPooling的工作原理

1.通过VGG16网络，对原图尺寸为800×800进行卷积池化的操作，最终生成25×25；
2.其中有一张665×665的图片进行同样的卷积池化操作，理论上产生20.78×20.78的特征图，但计算机计算的时候，自动取整，生成了20×20的操作（第一次量化）；
3.通过ROI pooling层，需要将所有的图片卷积成7×7的图片时，理论上要生成7×7的图片，20/7=2.86，以2.86×2.86形成49个格子，然后每个格子里取最大值（以最大池化为例子），但2.86无法实现，进行了 第二次量化 ，以2×2为一个小格子；
最终得到7×7的特征图，但经过了两次池化，对于分类效果来说，并不会影响，但是对于要在原图中定位目标的情况下，会产生较大的误差。

---

二、ROI Align

工作原理

1.同样VGG16，有图片800卷积池化成25 ×25的特征图；
2.有一张665×665的图片，其中有ROI经过卷积池化后，变为20.78×20.78，不取整数；
3.最终生成的是7×7的特征图，以20.78/7=2.97 2.97×2.97为一个小格子，生成49个同等大小的小格子；
4.每个小格子的四个角如果没落到真实点上，就对最近的真实点采用双线性插值法，取虚拟点位；
5.然后在每个小格子以2为采样样本，再分成四份，取每一小份的中心点，求得该点的值，最后每四份取最大值。这样对于ROI pooling来说，去掉了两次量化的误差，使得边框精度得到极大的提升。具体提升程度可如Mask RCNN给出的实验数据可知。

优点：
改进了ROI pooling中2次量化操作，从而使得精度有保障。
对每一个bin内部的N个插值的像素使用双线性插值进行跟新，有梯度的传导

---

三、PSROI Pool

一般来讲，网络越深，其具有的平移旋转不变性越强，这个性质对于保证分类模型的鲁棒性有积极意义。然而，在检测问题中，对物体的定位任务要求模型对位置信息有良好的感知能力，过度的平移旋转不变性会削弱这一性能。研究发现，对于较深的全卷积神经网络（Inception、ResNet 等），Faster-RCNN检测框架存在着一个明显的缺陷：检测器对物体的位置信息的敏感度下降，检测准确度降低。一般来讲最直观的解决方法是将RPN的位置向浅层移动（比如在ResNet中将RPN嵌入到conv4_x的位置），但这样做会明显增加 Fast-RCNN 部分的计算量，使得检测速度明显变慢。
　　有鉴于此，R-FCN 这篇文章的作者提出了一种全新的特征聚集方法：Position Sensitive ROI Pooling。其主要思想是在特征聚集时人工引入位置信息，从而有效改善较深的神经网络对物体位置信息的敏感程度。同时，R-FCN的大部分操作都直接对整张图片进行，这也大大优化了网络的运行速度。PS-ROI Pooling 具体操作方法如下图所示（这里仅显示了分类分支，包围框回归分支操作类似，在通道数和损失函数形式上有一些区别）：
　　
如上图，每一个候选区域(ROI)被平均分割成 k^2 个矩形单元,前序特征图先通过一层 11 的卷积核生成通道数为 k^2(C+1) 的特征图。这里，k^2 代表一个ROI里所有矩形单元的数量，C+1 代表所有的类别数加上背景。这 k^2*(C+1) 张特征图每 C+1 张分成一组、共包含 k^2 组，每组负责向对应的矩形单元进行响应。池化每一个ROI时，各个点（一共 k^2 个），均由上一层中对应分组的对应位置区域通过平均池化获得。由此获得一组 C+1 张特征图。最后，将这些特征图经过全局平均池化，得到 C+1 维的向量，计算分类损失函数。 全图卷积，降低第二阶段的计算量，推荐窗口只需要经过全局的平均就可以分类；不同的卷积核提取不同位置的特征，可能是人体的一部分，能体现位置信息；
　　计算反向传播时，遵循“向对应位置回传梯度的原则”，池化后的每一个点回传的梯度传向池化前特征图上对应通道对应区域的特征点上。
缺点：

1.PSROIPooling之前的roi区域的量化还存在，但是PSROIPooling之后的7*7区域的生成没有量化。
优点：

1.PSROIPooling包含有明确的相对位置信息在里面，使用不同的层分别学习不同的bin的值。
2.对整张图中的所有roi区域同时并行进行pooling操作，加快了处理速度。

---

四、PrROI Pooling（Precise RoI Pooling ）

对于每一个bin区域，假设(x1, y1)、(x2, y2)为其中一个bin区域的左上角和右下角坐标，图中红色虚线框。基于每个bin中的整数值位置的像素点就可以积分出整个区域的像素值。

IC函数计算每一个连续的x,y方向的偏移的乘积，在1个像素以内的偏移，使用该像素（i,j）计算，即该像素上下左右1个像素以内的区域都会被计算到。超过一个像素的偏移的，使用下一个整数像素点（i+1,j）或者（i,j+1）计算。然后该偏移的乘积和（i,j）的像素值wij乘积得到f(x,y)。从(x1, y1)到(x2, y2)对f(x,y)求积分，即可以得到整个bin区域的像素的和，然后求平均，就得到该bin区域的输出。最终每一个bin区域都输出1个数值，形成最终的7*7输出的feature map。

优点：

1.不涉及任何量化取整操作
2.解决了ROI Align中插值像素点数目N的问题，这里不再有该参数，整个feature map是一个连续的整体。
3.整个区域的像素值通过求积分得到，所以，所有的像素值都有梯度的传递。