层叠自编码

对于多层稀疏自编码的层叠，我们这里也可以采用逐层训练的方法。
首先和往常一样训练第一层参数

Paste_Image.png

然后固定第一层参数不动（freeze），加一层稀疏自编码，训练第二层稀疏自编码参数。这其实就是把原始输入通过第一层得到特征，利用这个特征再训练一个“一层自编码”。

Paste_Image.png

重复这个过程，根据需要加足够的层。然后最后就是我们提取的高阶特征，我们利用这个特征训练分类。

Paste_Image.png

拼起来就是我们最终需要的网络。

Paste_Image.png

我们其实还可以对拼好的网络继续进行整体梯度下降学习（利用BP），也即同时调整所有的参数。