李宏毅2021春季机器学习课程视频笔记13-Spatial Transformer Layer

卷积神经网络（CNN）对缩放和旋转不是一成不变的！

加一个Layer可以实现对输入进行旋转缩放，这个Layer就是Spatial Transformer.

 利用神经网络实现对Feature Map的平移和变换 

图像转换（Image Transformation）

平移缩放

 旋转操作

 在实践中，一般都是由l层反推回去对应l-1层的哪一个像素的，这样子才能保证第l层每一个像素都能对应有值，找变换后的像素点对应变换前的像素点是哪一点。

这问题求解并不能使用Gradient Decent，因为我们计算求得了位置是离散点值，例如（1.6微小的改变为1.66，这并不会影响其对应的实际输出，就会导致梯度为0，因此没有任何参数更新）

 在实际中使用该方法时候需要进行插值，不要直接将a(2,2)设置为其对应的value，而是将其value设置为与其周围四个pixel的距离，与双线性差值类似。

对输入的图像做相应的transform，对模型进行训练。

 

 利用不同的transform来关注鸟的不同位置的特征。红色方框关注鸟嘴，绿色的方框关注鸟的身体。