Spatial Transformer Networks--论文阅读笔记

Spatial Transformer Networks–论文阅读笔记

主要思想

用一个神经网络来生成仿射变换的变换矩阵，这样就得到一种仿射变换，用于处理数据使得之后用这些数据进行的后续的任务能获得更佳的效果。

预备知识：仿射变换

关于仿射变换，这个知乎回答我觉得很容易理解了
简单理解为 线性变换+平移 即可
在CV中我认为用仿射变换的作用就在于将输入图像中的目标对象进行一个拉伸、压缩等形变，得到一个归一化的大小，再平移到图像的中心，就相当于是对数值型数据进行标准化和中心化之后便于处理一个道理
但是面对庞大的数据量，如何确定这个仿射变换的变换矩阵是一个具体且困难的任务，这时作者就提出用一个神经网络来生成

仿射变换的生成网络

具体的网络结构如图所示：

共分为三个部分：

Localisation net：

以原始输入的feature map为输入，用来生成仿射变换矩阵中的参数
这部分的网络可以是任意形式的，例如全连接层或者卷积网络都可以，但最后一定要包含一个回归层用来生成参数。

Grid generator：

用来生成网格（grid），grid是用来对仿射变换进行定位的

Sampler：

通过对像素的抽样