STN：不规则文本矫正网络的探索

1 仿射变换

仿射变换（Affine Transformation 或Affine Map）是数字图像处理方法中一种二维坐标（x, y）到二维坐标（u, v）的线性变换：

 仿射变换可以实现如：

 

仿射变换具有平直性和平行性的特点，比如适合将平行四边形转为矩形的案例，不适合将严重弯曲的画面拉回为直的。

 2 STN结构

Spatial Transformer Networks, NIPS, 2015

STN的主要思想是通过网络学习一个变化参数（比如上边的仿射变换参数，6个），然后计算出新图在原图上对应的坐标，再通过某种填充方法填充新图。这是一段可微模块，可以插入现有的卷积架构中，使神经网络能够以特征图本身为条件，主动地转换特征图。

参数预测：	Localisation net
坐标映射：	Grid generator
像素点采集：	Sampler

STN原理  --- 简单理解！

 

 值得一提的是：

1. 这个网络可以作为单独的模块，可以在CNN的任何地方插入，所以STN的输入不止是输入图像，可以是CNN中间层的feature map；
2. 空间变压器可以通过标准的反向传播进行训练，允许对加入的结构和模型进行端到端训练！

demo效果（minist）网络结构：stn + conv + fc(10)