deeplearning的wake-sleep算法

对于多层的神经网络,在单独训练完每一层之后,需要对整个系统进行调优。

(这里的每一层要求能单独训练,常用的为自编码网络、RBM网络、去噪自编码网络(加噪声训练的自编码网络,鲁棒性强))

但是基于SGD随机梯度下降的方法在多层上容易产生各种梯度问题、如梯度发散等。

因此这时候就出现了wake-sleep算法。wake-sleep算法的思想跟CD(基于gibbs采样的对比散度算法)有相似的地方,

二者都有前向与后向的生成过程。而Gibbs算法主要用于生成模型(RBM网络)上,因此作为与之有相关性的wake-sleep算法也能单独应用与某类网络的训练。

但是Helmholtz machine与RBM的根本性联系是什么呢?二者都有类似Gibbs采样的步骤?需要回头好好研究一下。

这个网络就是Helmholtz machine:http://www.nku.edu/~kirby/docs/HelmholtzTutorialKoeln.pdf

这篇文章的题目是:A Tutorial on Helmholtz Machines

关于wake-sleep算法图文并茂的一个讲解:http://puxuan.me/2016/07/20/deep-learning/

套用文中的一个图:




你可能感兴趣的:(deeplearning的wake-sleep算法)