[论文理解]极坐标转换网络Polar Transfomer Network（PTN）

之前做过PTN的论文翻译，但有些没把握住精髓，这次对PTN进行了提炼，会清楚许多。

1.几个问题

1.1 基本信息

ICLR 2018

1.2 做了什么

提出PTN（Polar-Transformation Network）
实现对平移的不变、对旋转和伸缩的等变

1.3 实现方法

转换到极坐标系，此时平面卷积对应于旋转和尺度上的群卷积。

1.4 创新性 & 局限性

1. 不需要像STN一样学习参数回归（其实是回归的参数要少一些，还是用了回归）。
2. 只能识别全局形变。
3. PTN能够实现平移不变性（借助STN），以及对旋转和膨胀的等变性（对数表示）。
4. 原理不难，但是效果确实不错。

1.5 模型效果

2.数学部分 & 模型构建

2.1 图像的极坐标表示

笛卡尔坐标下的图像
$$I_o\left(x,y\right)$$

横坐标为，纵坐标为y

极坐标下的图像
$$I_o\left(e^{\xi }\sin \theta ,e^{\xi }\cos \theta \right)=\lambda \left(\xi ,\theta \right)$$

横坐标为ξ，纵坐标为θ

其中$\left(\xi ,\theta \right)\in SO\left(2\right)\times R^{+}$

2.2 极坐标下的卷积 & 模型结构

（1） 预测原点。
输入图经过一个极坐标原点预测器（polar origin predictor）（其实只是个传统的卷积网络），得到一个热图（heat map），代表着“有效信息”的分布情况。

（2） 将图像的原点挪到预测的质心。
将热图的质心作为原图的原点，输入极坐标转换器（polar transformer），从而能得到图像的极坐标表示。显然，若极坐标原点预测器能够正确预测原点位置的话，则极坐标转换器输出的极坐标表示相对于物体在原图上的位置是具有不变性（invariance）的。原图为$I$，将预测的质心$t_0$作为新的原点后得到$I_o$：$$I_o=I(x-t_0)$$

（3） 第一层卷积：在xy平面上进行。
$$f\left(r\right)=\underset{x\in R^2}{\int }{I}_o\left(x\right)\varphi \left(r^{-1}x\right)dx$$

其中$r\in SO\left(2\right)\times R^{+}$，即$r$是一个极坐标中的一个“点”，具有模长和方向两个量。

假设$r=\left(\rho ,\theta \right)$，$x=\left(x_1,x_2\right)$可以看做是原点$(0,0)$到$x$的向量，则$r^{-1}x$代表把笛卡尔平面上的向量$x$的长度缩短$\rho$，然后逆时针旋转$\theta$。

最后得到的卷积结果$f(r)$定义在极坐标上。

（4）第二层网络：定义在极坐标上。

最开始对笛卡尔平面上的图卷积得到了$f(r)$，接下来对$f(r)$卷积，因此卷积的定义域要转变到极坐标上。卷积结果为$h(r)$，也是一张以极坐标为自变量的特征图。

$$h\left(r\right)={\int }_{s\in SO\left(2\right)\times R^{+}}f\left(s\right)\varphi \left(s^{-1}r\right)ds$$

其中$r,s\in SO\left(2\right)\times R^{+}$

我们可以将极坐标参数化，写成(模长，方向)的实行，即$r=\left(\xi ,\theta \right)$。由于上式$h(r)$的卷积公式中s和r都属于同一个群，因此此时可以写成双重积分的形式（即传统的平面卷积形式）。

$$h\left(r\right)={\int }_s\lambda \left(\xi ,\theta \right)\varphi \left({\xi }_r-\xi ,{\theta }_r-\theta \right)d\xi d\theta$$
由于笛卡尔上旋转和缩放变换可以被转换为极坐标上的平移表换，而传统CNN对于平移又是具有等变性的，故此时也可以对旋转和缩放保持等变性。因此，整个网络对旋转和缩放变换能保持等变性。

2.3 模型具体细节

2.3.1 极坐标转换模块

POLAR TRANSFORMER MODULE
作用
输入预测的质心、原图，输出经过平移的极坐标表示图像。

细节
转换到极坐标需要对原图进行采样，论文作者采取了和STN一样的采样方式，对于某个目标点的坐标$\left(x_i^t,y_i^t\right)$，县转化为其在原图上的坐标$\left(x_i^s,y_i^s\right)$，

其中$\left(x_0,y_0\right)$是原点，$H,W$分别为输出图像的高和宽。$r$是距离原点的最大距离，论文中取$$r=\sqrt{H^2+W^2}$。

由于$\left(x_i^s,y_i^s\right)$不一定是整数，因此还要进行一定的插值。

2.3.2 环绕填充

WRAP-AROUND PADDING
为了保持特征图的分辨率，大多数CNN实现使用零填充。这对于极坐标表示并不理想，因为极坐标是关于角轴具有周期性。如果输入图像旋转，输出会发生垂直移动（$\theta$为纵轴），在边界处换行；因此，最上面和最下面的行的保持一致是最合适的。这是通过垂直方向上的环绕填充来实现的尺寸。特征图的最上面的行使用特征图最下面的行进行填充，反之亦然，这样一来旋转就不会损失信息。在水平维度中使用零填充。

2.3.3 极坐标原点增强

POLAR ORIGIN AUGMENTATION

为了提高该方法的鲁棒性，我们在训练时间内通过向回归极原点坐标添加随机移位来增强极原点。 请注意，与传统的增强方法（如旋转输入图像）相比，这几乎不需要计算成本。

其实这也是一种数据增强，目的是提高原点预测的准确度，以保证平移不变性的鲁棒性。