深信度网络

虽然Yoshua Bengio在Deep learning(2015)说深信度网络现在的研究已经不多，被一些其他的方法所替代，但是深信度网络在深度学习历史上还是有重要地位的。所以本文将详细描述深信度网络。本文主要参考Hinton在2006年发表的文章a fast learning algorithm for deep belief nets.
1.explaining away and complementary priors. 针对两层的生成数据的logistic belief net ，它的隐藏层的神经元 si 是二元随机变量，其中隐藏层的神经元是先验独立的，但是在给定输入层之后，隐藏层不再是条件独立的了，这样，隐藏层的后验分布将会十分复杂，无法因子化。于是Hinton希望用complementary prior来解决这个问题，通过complementary prior来抵消由输入层引入的explaining away，从而使得隐藏层的后验独立。
未完待续。。。。

参考文献
【1】Maximum Likelihood as Minimize KL-Divergence
【2】Helmholtz Machines and Wake-Sleep Learning
【3】A fast learning algorithm for deep belief nets
【4】Learning deep architectures for AI