机器学习前沿热点–Deep Learning（一）

        引言：

       神经网络（Neural Network）与支持向量机（Support Vector Machines，SVM）是统计学习的代表方法。可以认为神经网络与支持向量机都源自于感知机（Perceptron）。感知机是1958年由Rosenblatt发明的线性分类模型。感知机对线性分类有效，但现实中的分类问题通常是非线性的。
       神经网络与支持向量机（包含核方法）都是非线性分类模型。1986年，Rummelhart与McClelland发明了神经网络的学习算法Back Propagation。后来，Vapnik等人于1992年提出了支持向量机。神经网络是多层（通常是三层）的非线性模型，支持向量机利用核技巧把非线性问题转换成线性问题。
        神经网络与支持向量机一直处于“竞争”关系。Scholkopf是Vapnik的大弟子，支持向量机与核方法研究的领军人物。据Scholkopf说，Vapnik当初发明支持向量机就是想"干掉"神经网络（He wanted to kill Neural Network)。支持向量机确实很有效，一段时间支持向量机一派占了上风。
        近年来，神经网络一派的大师Hinton又提出了神经网络的Deep Learning算法（2006年），使神经网络的能力大大提高，可与支持向量机一比。
       Deep Learning假设神经网络是多层的，首先用Boltzman Machine（非监督学习）学习网络的结构，然后再通过Back Propagation（监督学习）学习网络的权值。关于Deep Learning的命名，Hinton曾开玩笑地说: I want to call SVM shallow learning. (注：shallow 有肤浅的意思)。其实Deep Learning本身的意思是深层学习，因为它假设神经网络有多层。
        总之，Deep Learning是值得关注的统计学习新算法。

         深度学习（Deep Learning）是ML研究中的一个新的领域，它被引入到ML中使ML更接近于其原始的目标：AI。查看a brief introduction to Machine Learning for AI 和 an introduction to Deep Learning algorithms.

       深度学习是关于学习多个表示和抽象层次，这些层次帮助解释数据，例如图像，声音和文本。
对于更多的关于深度学习算法的知识，可以参看：

• The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).
• The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references.
• The LISA public wiki has a reading list and a bibliography.
• Geoff Hinton has readings from last year’s NIPS tutorial.
  

这篇综述主要是介绍一些最重要的深度学习算法，并将演示如何用 Theano 来运行它们。
Theano是一个python库，使得写深度学习模型更加容易，同时也给出了一些关于在GPU上训练它们的选项。

         这个算法的综述有一些先决条件。首先你应该知道一个关于python的知识，并熟悉numpy。由于这个综述是关于如何使用Theano，你应该先阅读 Theano basic tutorial 。一旦你完成这些，阅读我们的 Getting Started 章节---它将介绍概念定义，数据集，和利用随机梯度下降来优化模型的方法。

纯有监督学习算法可以按照以下顺序阅读：

• Logistic Regression - using Theano for something simple
• Multilayer perceptron - introduction to layers
• Deep Convolutional Network - a simplified version of LeNet5
  

无监督和半监督学习算法可以用任意顺序阅读(auto-encoders可以被独立于RBM/DBM地阅读)：

• Auto Encoders, Denoising Autoencoders - description of autoencoders
• Stacked Denoising Auto-Encoders - easy steps into unsupervised pre-training for deep nets
• Restricted Boltzmann Machines - single layer generative RBM model
• Deep Belief Networks - unsupervised generative pre-training of stacked RBMs followed by supervised fine-tuning
  

关于mcRBM模型，也有一篇新的关于从能量模型中抽样的综述：

• HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()
  

 

文章来自：http://blog.sciencenet.cn/blog-315535-663215.html