深信度网络

虽然Yoshua Bengio在Deep learning(2015)说深信度网络现在的研究已经不多,被一些其他的方法所替代,但是深信度网络在深度学习历史上还是有重要地位的。所以本文将详细描述深信度网络。本文主要参考Hinton在2006年发表的文章a fast learning algorithm for deep belief nets.
1.explaining away and complementary priors. 针对两层的生成数据的logistic belief net ,它的隐藏层的神经元 si 是二元随机变量,其中隐藏层的神经元是先验独立的,但是在给定输入层之后,隐藏层不再是条件独立的了,这样,隐藏层的后验分布将会十分复杂,无法因子化。于是Hinton希望用complementary prior来解决这个问题,通过complementary prior来抵消由输入层引入的explaining away,从而使得隐藏层的后验独立。
未完待续。。。。


【1】Maximum Likelihood as Minimize KL-Divergence
【2】Helmholtz Machines and Wake-Sleep Learning
【3】A fast learning algorithm for deep belief nets
【4】Learning deep architectures for AI

你可能感兴趣的:(机器学习)