LeCun、Bengio和Hinton综述论文《deep learning》

2015年，深度学习三大神（Yann LeCun，Yoshua Bengio & Geoffrey Hinton），为了纪念人工智能60周年，合作在Nature上发表深度学习的综述性文章，介绍了深度学习的基本原理和核心优势，详细介绍了CNN、分布式特征表示、RNN及其不同的应用，并对深度学习技术的未来发展进行展望。

---

原文地址：Deep learning Review

下载地址：Deep Learning Review

译文地址：译文上 译文下

---

要点归纳：

• 深度学习就是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的，更加抽象的表达。通过足够多的转换的组合，非常复杂的函数也可以被学习。

• 深度学习的核心方面是，上述各层的特征都不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的。

• 监督学习

  • 传统的方法是手工设计良好的特征提取器，这需要大量的工程技术和专业领域知识。但是如果通过使用通用学习过程而得到良好的特征，那么这些都是可以避免的了。这就是深度学习的关键优势。
• 反向传播来训练多层神经网络
  
  • 反向传播算法的核心思想是：目标函数对于某层输入的导数（或者梯度）可以通过向后传播对该层输出（或者下一层输入）的导数求得。
  • 学习有用的、多级层次结构的、使用较少先验知识进行特征提取的这些方法都不靠谱。确切的说是因为简单的梯度下降会让整个优化陷入到不好的局部最小解。
• 卷积神经网络
  
  • 局部连接、权值共享、池化以及多网络层的使用。
  • 2012年ImageNet的Alex模型：这个成功来自有效地利用了GPU、ReLU、一个新的被称为dropout的正则技术，以及通过分解现有样本产生更多训练样本的技术。
• 分布式特征表示与语言处理
  
  • 首先，学习分布式特征表示能够泛化适应新学习到的特征值的组合。其次，深度网络中组合表示层带来了另一个指数级的优势潜能。
• 递归神经网络