表示学习：温故而知新

Neil Zhu，ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

Yoshua Bengio, Aaron Courville, and Pascal Vincent
from U. Montreal, CIFAR

摘要

机器学习算法的成功通常依赖于数据表示，我们猜测这是因为不同的表示会或多或少地混乱和隐藏那些数据中起到区分性的重要因素。尽管特定的领域知识可以用来帮助我们设计表示，一般性的先验假设也是常用的方法，对 AI 的追寻推动了我们对更加强大的表示学习算法的实现先验的设计的研究。本文回顾了在无监督特征学习和深度学习中的近期工作，包括概率模型的高级发展、自编码器、流形学习和深度网络。本文也带出了关于好的表示的学习、表示的计算方法（推断）及表示学习、密度估计和流形学习之间的几何关联这三方面的合理目标的深远的未知问题。
关键词：深度学习、表示学习、特征学习、无监督学习、玻尔兹曼机、自编码器、神经网络

1. 引言

introduction
机器学习方法的性能重度依赖数据表示（或者说特征）的根据应用场景的选择。所以，很多实际应用机器学习算法的精力都用在了设计预处理流程和数据转换上，使得得到的数据表示可以支持高效的机器学习。这种特征工程确实重要不过也需要大量的人力物力，也特显出当前学习算法的弱点：难以从数据中抽取和组织区分性强的信息。特征工程是一种引入人类智慧和先验知识来弥补上述弱点的方法。为了扩展机器学习技术的适用范围和降低应用难度，我们需要让机器学习算法更少地依赖于特征工程，这样，新的应用可以更快地被构造出来，并且也更加接近 AI 梦想。AI 必须从根本上理解我们所处的世界，我们认为只有 AI 可以识别和区分藏在更低维感知数据的可观测部分的内在的可解释的因素。
本文关注表示学习，即让抽取供分类器或者其他预测模型使用的有用信息更加简易的数据表示的学习。在概率模型中，好的表示通常是对观测数据，刻画了后验分布的内在可解释的因素。好的表示也是可以当做是监督学习算法的输入使用的。本文集中在在众多表示学习的方法中的深度学习方法：那些由多个非线性变换的复合构成，目标是获得更加抽象-最终是更加有用-的表示。这里我们快速地总结了这个领域的发展，尤其是最近的研究进展。我们讨论了推动领域发展的一些根本性的问题。特别地，什么方面让一种表示优于另外一种？举个例子，如何计算表示（或者说，执行特征抽取）？还有，什么是学习好的表示的合适的目标函数？

2. 我们为何关心表示学习？

why should we care about learning representations?
表示学习已经成为机器学习领域中一个特定的方向，在 NIPS 和 ICML 等顶会中也都包含常规的 workshop 了，现在还有一个新的专注于表示学习的会议，ICLR，有时候会使用 深度学习或者 特征学习 作为题头。尽管深度是话题讨论的重点，但其他还有不少有趣的先验知识，可以在问题被转化为学习特征的一部分的时候被很方便地刻画，将在下一节介绍。表示学习领域的快速研究伴随着学界和工业界两方面的实验性成功，同时也受到这些成功反过来的激励。下面，我们会简要讨论这些点。

语音识别和信号处理

speech recognition and signal processing
语音是神经网络尤其是特殊的卷积（时延性）神经网络早期应用的一个领域。近期重燃起来对神经网络、深度学习和表示学习的兴趣在语音识别领域中产生了重大影响，其中包括了一系列突破性成果 (Dahlet al., 2010; Deng et al., 2010; Seide et al., 2011a; Mohamedet al., 2012; Dahl et al., 2012; Hinton et al., 2012) 。这些由学术界和工业研究所的科研人员获得的成果将这些算法带入了一个更加广阔的境地以及应用在一些的实用产品中。例如，微软在 2012 年 发布了一个新版本基于深度学习的 MAVIS （Microsoft Audio Video Indexing Service）语音系统(Seide et al., 2011a)。
这些系统可以在四个主要的基准测试任务上将词的错误率降低约 30%（在 RT03S 上从27.4% 降到 18.5%），对比于基于高斯混合的声学模型和在同样数据上训练（309 小时）得到的最优模型。

对象识别

object recognition

自然语言处理

natural language processing

多任务学习和转移学习，领域适配

multi-task and transfer learning，domain adaption

3. 什么样的表示是好的？

what makes a representation good?

3.1 AI 中的表示学习先验假设

priors for representation learning in AI

3.2 光滑性和维度诅咒

smoothness and the Curse of Dimensionality

3.3 分布式表示

distributed representations

3.4 深度和抽象性

depth and abstraction

3.5 Disentangling Factors of Variation

3.6 评价好的学习表示的标准？

Good criteria for learning representations?

4. 构建深度表示

Building deep representations

5. 单层学习模型

Single-layer learning modules

6. 概率模型

probabilistic models

6.1 有向图模型

directed graphical models

6.1.1 explaining away

7. 直接学习参数式从输入到表示的映射

8. 作为流形学习的表示学习

9. 概率模型和直接编码模型之间的关联

10. 深度模型的全局训练

11. 内置的不变性

12. 结论

人工智能时代每个人都将面临挑战，想要了解更多相关知识和实践经验，请关注公众号“UniversityAI”。

UAI 人工智能