Spatial Transformer Networks(STN)-论文笔记

Spatial Transformer Networks(STN)-论文笔记

• 论文： Spatial Transformer Networks
• 作者：Max Jaderberg Karen Simonyan Andrew Zisserman Koray Kavukcuoglu
• code1：https://github.com/oarriaga/STN.keras
• code2：https://github.com/kevinzakka/spatial-transformer-network

1. 问题提出

1. CNN在图像分类中取得了显著的成效，主要是得益于 CNN 的深层结构具有 ：$平移不变性、缩小不变性$；还对缺失的$空间不变性（spatiallyinvariance）$做了相应的实验。

   • $平移不变性$主要是由于 Pooling 层 和 步长不为1的卷积层 的存在带来的。实际上主要是池化层的作用：
     • 层越多，越深，池化核或卷积核越大，空间不变性也越强；
     • 但是随之而来的问题是局部信息丢失，所以这些层越多准确率肯定是下降的，所以主流的CNN分类网络一般都很深，但是池化核都比较小，比如2×2。
   • $缩小不变性$主要是通过降采样来实现的。降采样比例要根据数据集调整，找到合适的降采样比例，才能保证准确率的情况下，有较强的空间不变性。
     • 比如ResNet，GoogLeNet，VGG，FCN，这些网络的总降采样比例一般是 16或32，基本没有见过 64倍，128倍或者更高倍数的降采样（会损失局部信息降低准确率），也很少见到 2倍或者4倍的降采样比例（空间不变性太弱，泛化能力不好）。

2. $空间不变性（spatiallyinvariance）$这些不变性的本质就是图像处理的经典手段：空间变换，又服从于同一方法：坐标矩阵的仿射变换。因此DeepMind设计了$SpatialTransformerNetworks$(简称STN)，目的就是显式地赋予网络对于以上各项变换(transformation)的不变性(invariance) .
   –

2. 图像处理技巧

2.1 仿射变化

主要是要处理$(2\times 3)$的变换矩阵：
$${\mathcal{T}}_{\theta }=\left[\begin{array}{ccc}{\theta }_{11}& {\theta }_{12}& {\theta }_{13}\\ {\theta }_{21}& {\theta }_{22}& {\theta }_{23}\end{array}\right]\text{\hspace{1em}(2.1)}$$

• 平移：
  $$\left[\begin{array}{ccc}1& 0& {\theta }_{13}\\ 0& 1& {\theta }_{23}\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{l}x+{\theta }_{13}\\ y+{\theta }_{23}\end{array}\right]\text{\hspace{1em}(2.2)}$$

• 缩放：
  $$\left[\begin{array}{ccc}{\theta }_{11}& 0& 0\\ 0& {\theta }_{22}& 0\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{l}{\theta }_{11}x\\ {\theta }_{22}y\end{array}\right]\text{\hspace{1em}(2.3)}$$

• 旋转：
  对于旋转操作，设绕原点顺时针旋转 $\alpha$ 度，坐标仿射矩阵为:
  $$\left[\begin{array}{ccc}\cos (\alpha )& \sin (\alpha )& 0\\ -\sin (\alpha )& \cos (\alpha )& 0\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}\cos (\alpha )x+\sin (\alpha )y\\ -\sin (\alpha )x+\cos (\alpha )y\end{array}\right]\text{\hspace{1em}(2.4)}$$

  由于图像的坐标不是中心坐标系，通常需要做Normalization，把坐标调整到$[-1,1]$。这样，就绕图像中心旋转了。

2.2 逆向坐标映射

假设fixed image 的坐标点是$[x^{tar},y^{tar}]$，source iamge 的坐标点是$[x^{sour},y^{sour}]$，则一般的坐标映射可以表示为：
$$\left[\begin{array}{ccc}{\theta }_{11}& {\theta }_{12}& {\theta }_{13}\\ {\theta }_{21}& {\theta }_{22}& {\theta }_{23}\end{array}\right]\left[\begin{array}{c}{x}^{sour}\\ y^{sour}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^{tar}\\ y^{tar}\\ 1\end{array}\right]\text{\hspace{1em}(2.5)}$$

逆向坐标映射表示为（${\theta }^{\prime }$ and $\theta$ are different）：
$$\left[\begin{array}{ccc}{\theta }_{11}^{\prime }& {\theta }_{12}^{\prime }& {\theta }_{13}^{\prime }\\ {\theta }_{21}^{\prime }& {\theta }_{22}^{\prime }& {\theta }_{23}^{\prime }\end{array}\right]\left[\begin{array}{c}{x}^{tar}\\ y^{tar}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^{sour}\\ y^{sour}\\ 1\end{array}\right]\text{\hspace{1em}(2.6)}$$
STN采用逆向映射，因为：target image 是固定的，正向的插值过程，都是引用像素坐标是浮点数，相对来说很难插值；对应逆向变换，得到的Source坐标是浮点数，用Source像素插值更加便捷。

2.3 双线性插值

• 一个[1,10]图像放大10倍问题，我们需要将10个像素，扩展到为100的数轴上，整个图像应该有100个像素。
  但其中90个对应Source图的坐标是非整数的，是不存在的，如果我们用黑色(RGB(0,0,0))填充，此时图像是惨不忍睹的。所以需要对缺漏的像素进行插值，利用图像数据的局部性近似原理，取邻近像素做平均生成。

• 双线性插值是一个兼有质量与速度的方法:
  

• 插值一般表达式：
  $$V_i^c=\sum _n^H\sum _m^W{U}_{nm}^{c}k\left(x_i^s-m;{\Phi }_x\right)k\left(y_i^s-n;{\Phi }_y\right)\forall i\in \left[1\dots H^{\prime }{W}^{\prime }\right]\forall c\in [1\dots C]\text{\hspace{1em}(2.7)}$$

  • $U_{nm}^c$ 是输入feature map上第 $c$ 个通道上坐标为 $(n,m)$ 的像素值；
  • $V_i^c$ 是输出 feature map上第 $c$ 个通道上坐标为 $\left(x_i^t,y_i^t\right)$ 的像素值；
  • $k()$ 表示插值核函数；
  • $\Phi x,\Phi y$ 代表 $\mathrm{x}$ 和 $\mathrm{y}$ 方向的揷值核函数的参数；
  • $H,W$ 输入$U$的尺寸；
  • $H^{\prime },W^{\prime }$ 输出$V$的尺寸；

• 双线性插值的公式：
  $$V_i^c=\sum _n^H\sum _m^W{U}_{nm}^c\max \left(0,1-\left|x_i^s-m\right|\right)\max \left(0,1-\left|y_i^s-n\right|\right)\text{\hspace{1em}(2.8)}$$
  这个插值核函数做的是利用$U$中离 当前源坐标 $\left(x_i^s,y_i^s\right)$ (小数坐标) 最近的 4个整数坐标 $(n,m)$ 处的像素值做双线性插值然后拷贝到$V$中的 $\left(x_i^t,y_i^t\right)$ 坐 标处。
  

---

3. 整体框架

3.1 整体描述

Spatial Transformer Networks的结构，主要的部分—共有三个，它们的功能和名称如下:

• $Localisationnet$(参数预测)：
  是自己定义的网络，它输入$U$，输出变化参数$\theta$，这个参数用来映射$U$和$V$的坐标关系(公式(2.1))。
• $Gridgenerator$(坐标映射):
  根据$V$中的坐标点和变化参数$\theta$，计算出$U$中的坐标点(公式(2.6))。

  • 这里是因为$V$的大小是先定义好的，当然可以得到$V$的所有坐标点，而填充$V$中每个坐标点的像素值的时候，要从$U$中去取，所以根据$V$中每个坐标点和变化参数$\theta$进行运算，得到一个坐标。
  • 在sampler中就是根据这个坐标去$U$中找到像素值，这样子来填充$V$。

• $Sampler$(像素的采集):

  根据Grid generator得到的一系列坐标和原图$U$（因为像素值要从$U$中取）来填充，因为计算出来的坐标可能为小数，要用另外的方法来填充，比如双线性插值。

3.2 基本结构与前向传播

• DeepMind为了描述这个空间变换层，首先添加了坐标网格计算的概念，即：
  • 对应输入源特征图像素的坐标网格——Sampling Grid，保存着$(x^{Source},y^{Source})$
  • 对应输出源特征图像素的坐标网格——Regluar Grid ，保存着$(x^{Target},y^{Target})$

1. $Localisationnet$(参数预测)：对应着初始化的6个参数。
2. $Gridgenerator$(坐标映射):对应着图中的①②。
   $${\mathcal{T}}_{\theta }(G_i)\left[\begin{array}{c}{x}^{tar}\\ y^{tar}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\theta }_{11}^{\prime }& {\theta }_{12}^{\prime }& {\theta }_{13}^{\prime }\\ {\theta }_{21}^{\prime }& {\theta }_{22}^{\prime }& {\theta }_{23}^{\prime }\end{array}\right]\left[\begin{array}{c}{x}^{tar}\\ y^{tar}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^{sour}\\ y^{sour}\\ 1\end{array}\right],wherei=1,2,3,4..,H\ast W\text{\hspace{1em}(3.1)}$$
3. $Sampler$(像素的采集)：对应着图中的③④。

3.3 梯度流动与反向传播

添加空间变换层之后，梯度流动变得有趣，如图：

1. 后流(①):
   $ErrorGradient$ $\to \dots \dots \to \frac{\partial Next}{\partial V_i^c}$
   这是Back Propagation从后层继承的动力源泉，没有它，你就不可能完成Back Propagation。
2. 里流(②):
   $$\{\begin{array}{r}\frac{\partial V_i^c}{\partial x_i^S}\to \frac{\partial x_i^S}{\partial \theta }\\ \frac{\partial V_i^c}{\partial y_i^S}\to \frac{\partial y_i^S}{\partial \theta }\end{array}\text{\hspace{1em}(3.3)}$$

• 个人对这股流的最好描述就是: 一江春水流进了小黑屋。
• 是的，你没有看错，这股流根本就没有流到网络开头，而是在定位网络处就断流了。 由此来看，定位网络就好像是在主网络旁侧偷建的小黑屋，是一个违章湕筑。
• 所以也无怪乎作者说，定位网络直接変成了一个回归模型，因为更新完参数，流就断了，独立于主网络。

3. 前流(③):
   $$\frac{\partial V_i^c}{\partial U_{nm}^i}\to \frac{\partial U_{nm}^i}{\partial \text{ Previous }}\text{\hspace{1em}(3.4)}$$
   这是Back Propagation传宗接代的根本保障，没有它，Back Propagation就断子绝孙了。

3.4 局部梯度

论文中多次出现[局部梯度] (Sub-Gradient) 的概念。采样核函数，是不连续的，不能如下直接求导:
$$g=\frac{\partial V_i^c}{\partial \theta }\text{\hspace{1em}(3.5)}$$
而应该是分两步，先对 $x_i^S、x_i^S$ 求局部梯度: $\frac{\partial V_i^c}{\partial x_i^c}、\frac{\partial V_i^c}{\partial y_i^c}$ ，后有：
$$\{\begin{array}{r}g=\frac{\partial V_i^c}{\partial x_i^S}\cdot \frac{\partial x_i^S}{\partial \theta }\\ g=\frac{\partial V_i^c}{\partial y_i^S}\cdot \frac{\partial y_i^S}{\partial \theta }\end{array}\text{\hspace{1em}(3.6)}$$
有趣的是，对于Theano这种目动求导的 Tools，局部梯度可以直接被忽视。
因为Theano的Tensor机制，会聪明地讨论并且解离非连续函数，追踪每一个可导子式，即便你用了作者们的优雅的采样函数， Tensor.grad函数也能精确只对许出的4个点求导，所以在Theano里讨论非连续函数和局部梯度，是会贻笑大方的。

---

4. 实验

4.1 Distorted MNIST

这个试验的数据集 是 MNIST，不过与原版的MNIST 不同，这个数据集对图片上的数字做了各种形变操作，比如平移，扭曲，放缩，旋转等。

• 不同形变操作的简写表示：
  • 旋转：rotation ( R),
  • 旋转+缩放+平移：rotation, scale and translation (RTS),
  • 投影变换：projective transformation ( P),
  • 弹性变形：elastic warping (E) – note that elastic warping is destructive and can not be inverted in some cases.
• 文章将 Spatial Transformer 模块嵌入到 两种主流的分类网络，FCN和CNN中（ST-FCN 和 ST-CNN ）。Spatial Transformer 模块嵌入位置在图片输入层与后续分类层之间。
• 试验也测试了不同的变换函数对结果的影响：
  • 仿射变换：affine transformation (Aff),
  • 投影变换：projective transformation (Proj),
  • 薄板样条变换：16-point thin plate spline transformation (TPS)

其中CNN的模型与 LeNet是一样的，包含两个池化层。为了公平，所有的网络变种都只包含 3 个可学习参数的层，总体网络参数基本一致，训练策略也相同。

• 左侧：不同的形变策略以及不同的 Spatial Transformer网络变种与 baseline的对比；
• 右侧：一些CNN分错，但是ST-CNN分对的样本
  - (a )：输入
  - (b )：Spatial Transformer层 的 源坐标（Tθ(G) ）可视化结果
  - (c )：Spatial Transformer层输出
• 很明显：ST-CNN优于CNN, ST-FCN优于FCN，说明Spatial Transformer确实增加了 空间不变性
• FCN中由于没有 池化层，所以FCN的空间不变性不如CNN，所以FCN效果不如CNN
• ST-FCN效果可以达到CNN程度，说明Spatial Transformer确实增加了 空间不变性
• ST-CNN效果优于ST-FCN，说明 池化层 确实对 增加 空间不变性很重要
• 在 Spatial Transformer 中使用 plate spline transformation (TPS) 变换效果是最好的
• Spatial Transformer 可以将歪的数字扭正
• Spatial Transformer 在输入图片上确定的attention区域很明显利于后续分类层分类，可以更加有效地减少分类损失

4.2 Street View House Numbers

Street View House Numbers是一个真实的 街景门牌号 数据集，共200k张图片，每张图片包含1-5个数字 ，数字都有形变。

• baseline character sequence CNN model ：11层，5个softmax层输出对应位置的预测序列
• STCNN Single ：在输入层添加一个Spatial Transformer
• ST-CNN Multi ：前四层，每一层都添加一个Spatial Transformer 见下面 tabel 2 右侧
• localisation networks 子网络：两层32维的全连接层
• 使用仿射变换和双线性插值
  

结果：

参考

1. arleyzhang：基础DL模型-STN-Spatial Transformer Networks-论文笔记
2. Spatial Transformer Networks笔记
3. 详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
4. Spatial Transformer Networks
5. 论文笔记：空间变换网络（Spatial Transformer Networks）