UFLDL教程(四)---深度网络

深度神经网络,即含有多个隐藏层的神经网络。

栈式自编码算法

一种比较好的获取栈式自编码神经网络参数的方法是采用逐层贪婪训练法进行训练。即先利用原始输入来训练网络的第一层,得到其参数 ;然后网络第一层将原始输入转化成为由隐藏单元激活值组成的向量(假设该向量为A),接着把A作为第二层的输入,继续训练得到第二层的参数 ;最后,对后面的各层同样采用的策略,即将前层的输出作为下一层输入的方式依次训练。

使用反向传播法进行微调

UFLDL教程(四)---深度网络_第1张图片

线性解码器

一个 S 型或 tanh 隐含层以及线性输出层构成的自编码器,我们称为线性解码器。


你可能感兴趣的:(UFLDL教程(四)---深度网络)