Nature:DeepLearning

0.综述

本论文DeepLearning是Yann LeCun, Yoshua Bengio, Geoffrey Hinton 三位大神于2015年发表在Nature上的深度学习综述，从深度学习概念、原理、应用等方面总览深度学习，把握深度学习的前世今生，探究深度学习中的重要理论和算法。
论文包括以下8个部分：

• 引言
• 监督学习
• 反向传播算法
• CNN
• 基于深度卷积神经网络的图片理解
• 分布表示和语言模型
• RNN
• 深度学习的未来

论文地址：https://www.nature.com/articles/nature14539

• 深度学习的概念
  深度学习允许由多个处理层组成的计算模型来学习具有多个抽象级别的数据表示，这些方法极大地改善了语音识别，视觉对象识别，物体检测以及药物发现和基因组学等许多其他领域的最新技术。
• 深度学习的原理
  深度学习通过使用反向传播算法来指示机器应如何更改其内部参数(用于从前一层中的表示)计算每个层中的表示来发现大数据集中的复杂结构。
• 深度学习的应用
  深度卷积神经网络在处理图像，视频，语音和音频方面带来了突破，而循环神经网络则对文本和语音等顺序数据进行了影显。

1.引言部分笔记

引言部分最重要的就是下面这段话：

Deep-learning methods are representation-learning methods with multiple levels of representation,obtained by composing simple but non-linear modules that each transform the representation at one level (starting with the raw input) into a representation at a higher, slightly more abstract level. With the composition of enough such transformations, very complex functions can be learned.

深度学习是一种具有多层表征(高维特征组合)的表示学习方法，它通过组合简单但是非线性的模块来实现，每个模块将一个层次的表征(从原始输入开始)转换到更高维、更抽象层次的表征，通过足够多的这种变换的组合，我们可以学习到能够解决非常复杂的问题的函数。

与传统机器学习方法中的特征工程不一样，深度学习自成一套，它使用一种通用的学习过程从数据中学到特征。

2.监督学习

We compute an objective function that measures the error (or distance) between the output scores and the desired pattern of scores. The machine then modifies its internal adjustable parameters to reduce this error. These adjustable parameters, often called weights, are real numbers that can be seen as ‘knobs’ that define the input–output function of the machine. In a typical deep-learning system, there may be hundreds of millions of these adjustable weights, and hundreds of millions of labelled examples with which to train the machine.

我们计算一个目标函数来衡量期望得到的模式分数和实际输出分数之间误差(或者距离)。之后机器会修改它内部的可调整参数来减小这个误差，这些可调整的参数是实数，通常叫做权重，可以看作是定义机器输入输出功能的“旋钮”。在典型的深度学习系统中，可能有着数以万计的这样的可调整参数，以及数亿个贴有正确标签的实例来训练机器。