Yoshua Bengio——《Deep Learning》学习笔记1

版权声明：此为Yoshua Bengio的新书《Deep Learning》学习笔记，本文为博主在研究工作中经验分享，包括学习笔记、摘录、研究成果，以便以后工作参考之用，欢迎交流和批评；其中参考资料的标注难免会有疏漏之处，以及其它欠妥之处，如有请告知，立马更正，致歉，谢谢；未经博主允许不得转载。

第一章 前言

机器学习（machine learning）： AI 系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。这种能力被称为 机器学习（machine learning）。

简单的机器学习算法的性能在很大程度上依赖于给定数据的 表示（representation）。 

表示学习（representation learning）：使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为 表示学习（representation learning）。学习到的表示往往比手动设计的表示表现得更好。并且它们只需最少的人工干预，就能让AI系统迅速适应新的任务。 表示学习算法只需几分钟就可以为简单的任务发现一个很好的特征集，对于复杂任务则需要几小时到几个月。手动为一个复杂的任务设计特征需要耗费大量的人工时间和精力；甚至需要花费整个社群研究人员几十年的时间。

表示学习算法的经典例子是 自编码器--autoencoder，自编码器由一个编码器--encoder 和一个解码器--decoder 函数组成。

深度学习（ deep learning ）通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。

深度学习的典型例子是前馈深度网络或者多层感知机（multilayer perceptron, MLP）。

学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。

目前主要有梁总度量模型深度的方式：1、基于评估架构所需执行的顺序指令的数目；2、是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。

由于并不总是清楚计算图的深度或概率模型图的深度哪一个是最有意义的，并且由于不同的人选择不同的最小元素集来构建相应的图，因此就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。另外，也不存在模型多么深才能被修饰为 ‘‘深’’ 的共识。但相比传统机器学习， 深度学习研究的模型涉及更多学到功能或学到概念的组合，这点毋庸置疑。

AI > Machine learning > representation learning 表示学习 > deep learning 深度学习

AI 的例子： knowledge bases 知识库

Machine learning  的例子： logistic regression 逻辑回归

representation learning  的例子： shallow autoencoder 浅层自编码器

deep learning 的例子： MLP

图1.5 流程图展示了AI系统的不同部分如何在不同的AI 学科中彼此相关