Precise RoI Pooling（PrRoI Pooling）笔记

Precise ROI Pooling（PrRoI Pooling）方法由旷视科技于ECCV 2018上提出，作为他们的论文Acquisition of Localization Con dence for Accurate Object Detection中的一部分。其主要思想如下：

给定一个图像特征图$\mathcal{F}$，令$(i,j)$为特征图上的坐标，$w_{i,j}$为其特征图对应位置$(i,j)$的权值。采用双线性插值以避免量化操作，那么可以认为特征图也是连续的，有：

$$f(x,y)=\sum _{i,j}IC(x,y,i,j)\times w_{i,j}$$

其中，$IC(x,y,i,j)=\max (0,1-|x-i|)\times \max (0,1-|y-j|)$，它是插值系数。注意，这里面的$w$和$f$其实都是特征图，只不过$w$是离散的特征图（一般的特征图都是离散的），$f$是经过插值后连续的特征图。

为什么这里非要将离散的特征图转换为连续的特征图呢？这里主要是为了解决量化操作带来的累积误差问题，具体可以参考 https://www.jianshu.com/p/2a5ffca8b861 这篇文章，分析得比较仔细。

现在我们为某个RoI指定它的一个bin，$bin=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right)\right\}$，其中$\left(x_1,y_1\right)$和$\left(x_2,y_2\right)$分别表示矩形框的左上角和右下角坐标，如下图所示（当然，这个坐标值是连续数值，因为已经做过插值了）：

根据上述得到的bin（其坐标是连续数值）和原始的特征图$\mathcal{F}$，我们可以进行一种pooling操作，它涉及到二重积分：

$$\mathrm{PrPool}(bin,\mathcal{F})=\frac{{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)dxdy}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}$$

从上面的公式可以看出，PrPool的主要计算思想是对bin区域内的数值进行求和，然后除以bin的面积。

这里贴一张论文中关于描述RoI Pooling、RoI Align和PrRoI Pooling的对比示意图：

上图中红色虚线表示候选图像在特征图中的位置。从图中可以看出，RoI Pooling的思路最为基础，其方法是直接做了取整处理，损失了精度。RoI Align方法则首先进行插值，然后将候选图像区域分为若干个子区域（图中的示例是4个子区域，表现为4个实心红点），最后pooling的时候对这4个子区域做均值处理。与RoI Align方法类似，PrRoI Pooling也做了插值处理，将离散的特征图数据映射到一个连续空间，但与RoI Align不同之处在于，它并没有再划分子区域，而是使用二重积分再求均值的方式实现pooling。相比于RoI Align方法，PrRoI Pooling主要解决了N的取值难以自适应的问题。

此外我们还可以发现，$\mathrm{PrPool}(bin,\mathcal{F})$是可以求偏导数的，比如对$x_1$求偏导数，有：

$$\begin{array}{rl}\frac{\partial \mathrm{PrPool}(bin,\mathcal{F})}{\partial x_1}& =\frac{\partial \frac{{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}}{\partial x_1}\\ & =\frac{\frac{\partial {\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\partial x_1}\times \left(x_2-x_1\right)\times \left(y_2-y_1\right)-{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y\times \frac{\partial \left(x_2-x_1\right)\times \left(y_2-y_1\right)}{\partial x_1}}{{\left[\left(x_2-x_1\right)\times \left(y_2-y_1\right)\right]}^2}\\ & =\frac{\frac{\partial {\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\partial x_1}\times \left(x_2-x_1\right)\times \left(y_2-y_1\right)}{{\left[\left(x_2-x_1\right)\times \left(y_2-y_1\right)\right]}^2}-\frac{{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y\times \frac{\partial \left(x_2-x_1\right)\times \left(y_2-y_1\right)}{\partial x_1}}{{\left[\left(x_2-x_1\right)\times \left(y_2-y_1\right)\right]}^2}\\ & =\frac{\frac{\partial {\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\partial x_1}}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}-\frac{{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y\times \left[-1\times \left(y_2-y_1\right)\right]}{{\left[\left(x_2-x_1\right)\times \left(y_2-y_1\right)\right]}^2}\\ & =\frac{\frac{\partial {\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\partial x_1}}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}-\frac{{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}\times \frac{\left[-1\times \left(y_2-y_1\right)\right]}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}\\ & =\frac{\frac{\partial {\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\partial x_1}}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}-\mathrm{PrPool}(bin,\mathcal{F})\times \frac{-1\times \left(y_2-y_1\right)}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}\\ & =\frac{\frac{\partial {\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)\text{d}x\text{d}y}{\partial x_1}}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}+\frac{\mathrm{PrPool}(bin,\mathcal{F})}{\left(x_2-x_1\right)}\\ & =-\frac{{\int }_{y1}^{y2}f(x,y)\text{d}y}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}+\frac{\mathrm{PrPool}(bin,\mathcal{F})}{\left(x_2-x_1\right)}\\ & =\frac{\mathrm{PrPool}(bin,\mathcal{F})}{x_2-x_1}-\frac{{\int }_{y1}^{y2}f\left(x_1,y\right)\text{d}y}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}\end{array}$$

---

参考资料：

• ROI Pooling原理及实现：https://blog.csdn.net/u011436429/article/details/80279536
• RoI Pooling与RoIWrap Pooling与RoIAlign Pooling与Precise RoI Pooling：https://blog.csdn.net/m_buddy/article/details/85110124