CNN & Spatial Transformer Layer

CNN:(Convolutional Neural Network)

CNN（Convolutional Neural Networks, ConvNets, 卷积神经网络）是神经网络的一种，是理解图像内容的最佳学习算法之一，并且在图像分割、分类、检测和检索相关任务中表现出色。

VERSION1：Based on Neurons

CNN常被用于图像分类任务，如果我们还是使用Fully Connected Network，会有很多参数，需要处理的数据量太大，导致成本很高，效率很低。基于我们人眼识别为启发，我们在识别前会抓住图像的特定特征以此来辨别分类，而这些重要的特征往往只覆盖一小块图片的区域，所以一个Neural不需要关注整张图片。

所以产生了第一个简化：局部连接，Receptive Field，感受野，一个Neural只关注当前感受野内的内容，这样可以大大减少参数。每个感受野也会有一系列Neurals对应。

Stride: 不同的感受野移动步长，每次滑动的像素数称为“步长”。

Padding：调整尺寸，经过很多层卷积之后，输出尺寸会变小，为了避免边缘信息丢失，我们就需要进行填充（Padding）。

又发现，相同的特征会出现在图片的不同区域，如上图中鸟嘴可能出现在图片左上角，也可能出现在图片中部；

 所以产生了第二个简化：权值共享，两个不同的Neurals共享相同的参数w1，w2...这样可以大大减少参数的数量；

 因此在设定时候，每组参数被称作一个filters，用来探测一个特征；

由此可知，Convolutional Layer还是一种特殊的Fully Connected Layer，在处理图片时非常有效；

VERSION2：Based on Filters

 

 使用不同的Filters在图片上滑动，以提取不同的特征信息；

 一个感受野内输入和Nerual对应的权重参数，就是Filer中的参数，二者是一样的；

而这比较可知，只是从不同的角度理解CNN的功能；

POOLING:

当我们Subsampe一个图像的时候并不会改变图像中的对象。

因此产生Pooling layer，池化层，实际是一个下采样的过程，用来缩小尺寸，减小模型规模，提高运算速度。常用的池化函数有：平均池化（Mean Pooling）、最大池化（Max Pooling）、最小池化（Min Pooling）和随机池化（Stochastic Pooling）等。

整个CNN结构可以表示为如图，它还用在了围棋GO，因为围棋也有图像的特征，包括局部感受野，一些相同的结构也会在棋盘的不同区域出现。不过它没有采用POOLING，毕竟棋盘的每一行和每一列对于局势都非常重要，在特定问题下不能轻易下采样。对于其他更多的应用，也包括speech和NLP，但是对于特定的问题还是需要对网络结构做特定的调整。

NOTE：CNN缺乏对输入数据保持空间不变的能力，导致模型性能下降。需要用到Spatial transformer layer。

 Spatial Transformer Layer：

Localisation Net，通过变换矩阵将输入图片进行变换。

 STL作为一种独立的模块可以在不同网络结构的任意结点插入任意数。该模块的加入可以使网络具备空间不变性，且STL模块计算速度非常快，只会造成很少的时间消耗。