Hinton 深度学习论文总结

原文网址：http://blog.sina.com.cn/s/blog_870a639201019fbl.html

【1】A fast learning algorithm for deep belief nets: 2006

Hinton关于deep learning的代表作。Papershows how to use “complementary prior” to eliminate the explaining away effects that make inferencedifficult in densely-connected belief nets that have many hidden layers. 文章讲了deeplearning的整个体系机构，尤其对于用Restricted Boltzmann machine 和contrastivedivergence learning方法的阐述。对于整个deep

Learning结构的把我是很好的文章。

 

【2】To Recognize Shapes, First Learn to Generate Images: 2006

Hinton报告文章。文章从脑神经的角度讲了为什么要研究deep learning。列举了learning multilayer networks所面临的five strategies。Pretraining，fine-tuning等等概念讲解的更加的详细。

 

【3】Learning multiple layers of representation：2007

这篇文章给我的最大收获就是了解了这个方向的很多vocabulary：top-dowm connections，distributed representations，fine-tuned，generativemodel，discriminate model，stochastic generative model。我也认为这是目前我所看文献中对于pretraining讲得最好的一篇，至少对于初学者比较好懂。

 

【4】Reducing the dimensionality of data with neural networks：2006

这篇文章的重要性不用敷述，science的文章，也是因为这篇文章，deep network开始改变整个机器学习的格局，neural network开始进入deep network时代。版面的原因只要三页纸，但字字金贵，值得读上四五面。

 

【5】Representation learning：a review and newperspectives ：2012

综述性质的文章，对于deep architecture 整个领域的阐述。适合看了Restricted Boltzmann machine和auto-encoder这些方法之后再去看这篇，会有豁然开朗的感觉。

 

【6】深度学习研究综述：2012

这是这个领域我阅读的第一篇也是唯一一篇中文文献，对于我刚开始看起到了很大的启发作用，很多名词就是从这篇文章中得到启发的。

 

【7】How neural networks learning from experience：1992

这篇文章很早，但是我认为对于进入neural networks 领域非常的有价值，对于之前应用的最成功的back-propagation neural networks 进行了非常详细的讲解和推导。

 

【8】Learning deep architecture for AI：2009

Deep learning领域另一个学派创始人：YoshuaBengio  写的一篇综述。文章很有厚度：126页，是deeplearning必看的文章，也是学习的好文章。里面的内容很详细，而且references也很详细，200多篇。

 

【9】Human detection in images via piecewise linear support vectormachines：2012

Human detection 从2005年的dalal的historgramsof oriented gradients for human detection后基本上都会采用SVM的方法来解决问题。这篇文章讲述了SVM的一种变形结构。

 

【10】Historgrams of oriented gradients for human detection：2005

在human detection 领域一篇意义很重大的文章，提出了Historgrams of oriented gradients的方法。

 

1月21日:

【11】A practical guide to training restricted Boltzmann machines:2010

Hiton讲解的Restrical Boltzmanmachines的详细的训练方法。

 

1月22日：

【12】Measuring Gaze Depth with an Eye Tracker During StereoscopicDisplay:2011

新课题组老师的一篇文章，主要讲eye tracking的，但是使用3 dimension的方式。文章中用到了Butterworth filter 和 quadratic regressionb。

 

1月23日：

【13】Online Gaze Disparity via Binocular Eye Tracking on StereoscopicDisplays: 2012

Gaze depth and disparity 的online 方式。这篇文章和上面的文章是一个体系的，但是方法不一样，这篇文章用了triangulation using onscreen horizontal disparity 来对Gaze 进行 depthestimate。

 

1月27日：

【14】Deep Mixtures of Factor Analysers: 2012

Hinton学派的一篇文章，提出了一种greedylayer-wise learning algorithm for Deep Mixtures of Factor Analysers。

 

1月28日：

【15】Deep Lambertian Networks: 2012

论文为了解决face detection中的illumination的问题，提出了Deep Lambertian Networks。

 

1月29日：

【16】Training Hierarchical Feed-Forward Visual Recognition Models UsingTransfer Learning from Pseudo-Tasks：2009

国内机器学习大牛于凯老师的文章，Building visual recognition models that adapt across differentdomaine is a challenging task for computer vision.

 

1月30日：

【17】卷积神经网络（百度文库上的一篇文章，没有具体的发表信息，但是对于卷积神经网络讲解的比较好）

神经网络的学习主要把握三个方面的知识点：网络结构，神经元的方程，学习方法。卷积神经网络的创新点主要是在于网络结构。卷积神经网络是一个多层网络，且分为特征提取层和识别层。

 

【18】Notes on Convolutional Neural Networks：2006

Jake Bouvrie，This documentdiscusses the derivation and implementation of convolutional neuralnetworks(CNNs), followed by a few straightforward extensions。

 

1月31日：

【19】 http://deeplearning.net/tutorial/lenet.html#lenet：

讲解了CNNs的两个主要概念：Sparse Connectivity和Shared Weights，并且有python的代码。

【20】http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi#topmost

从神经网络的概念开始讲，并且有很详细的C++代码。

欢迎登陆我的个人主页，hello2019，查看原文：http://richardliu.cn/