Deep learning：四十八(Contractive AutoEncoder简单理解)

Deep learning：四十八(Contractive AutoEncoder简单理解)

Contractive autoencoder是autoencoder的一个变种，其实就是在autoencoder上加入了一个规则项，它简称CAE（对应中文翻译为？）。通常情况下，对权值进行惩罚后的autoencoder数学表达形式为：

这是直接对W的值进行惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下：

其中的

是隐含层输出值关于权重的雅克比矩阵，而

表示的是该雅克比矩阵的F范数的平方，即雅克比矩阵中每个元素求平方

然后求和，更具体的数学表达式为：

关于雅克比矩阵的介绍可参考雅克比矩阵&行列式——单纯的矩阵和算子，关于F范数可参考我前面的博文Sparse coding中关于矩阵的范数求导中的内容。

有了loss函数的表达式，采用常见的mini-batch随机梯度下降法训练即可。

关于为什么contrative autoencoder效果这么好？paper中作者解释了好几页，好吧，我真没完全明白，希望懂的朋友能简单通俗的介绍下。下面是读完文章中的一些理解：

好的特征表示大致有2个衡量标准：1. 可以很好的重构出输入数据; 2.对输入数据一定程度下的扰动具有不变形。普通的autoencoder和sparse autoencoder主要是符合第一个标准。而deniose autoencoder和contractive autoencoder则主要体现在第二个。而作为分类任务来说，第二个标准显得更重要。

雅克比矩阵包含数据在各种方向上的信息，可以对雅克比矩阵进行奇异值分解，同时画出奇异值数目和奇异值的曲线图，大的奇异值对应着学习到的局部方向可允许的变化量，并且曲线越抖越好（这个图没看明白，所以这里的解释基本上是直接翻译原文中某些观点）。

另一个曲线图是contractive ratio图，contractive ratio定义为：原空间中2个样本直接的距离比上特征空间（指映射后的空间）中对应2个样本点之间的距离。某个点x处局部映射的contraction值是指该点处雅克比矩阵的F范数。按照作者的观点，contractive ration曲线呈上升趋势的话更好（why？），而CAE刚好符合。

总之Contractive autoencoder主要是抑制训练样本（处在低维流形曲面上）在所有方向上的扰动。

CAE的代码可参考：pylearn2/cA.py

参考资料：

Contractive auto-encoders: Explicit invariance during feature extraction，Salah Rifai，Pascal Vincent，Xavier Muller，Xavier Glorot，Yoshua Bengio

雅克比矩阵&行列式——单纯的矩阵和算子

Sparse coding中关于矩阵的范数求导

pylearn2/cA.py

再谈雅克比矩阵---在feature learning中的作用