《Graph Neural Networks Foundations,Frontiers and Applications》第一部分第一章1.1节翻译和解读

书名：《Graph Neural Networks Foundations,Frontiers and Applications》(图神经网络的基础、前沿和应用)

出版社：Springer Berlin Heidelberg

作者：Lingfei Wu · Peng Cui · Jian Pei · Liang Zhao

红色部分为个人的一些解读，不足之处请多多指点！

第一部分 引言

第一章 表示学习

        摘要：在本章中，我们首先描述什么是表示学习，以及为什么我们需要表示学习。在各种表示学习的方法中，本章重点讨论深度学习方法：那些由多个非线性变换组成的方法（参照MLP），目的是产生更抽象的、最终更有用的表示。我们总结了不同领域的表示学习技术，重点是不同数据类型的独特挑战和模型，包括图像、自然语言、语音信号和网络。最后，我们对本章进行总结。（表示学习是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。）

第1.1节表示学习：导论

​​​​​​​        机器学习技术的有效性在很大程度上不仅依赖于算法本身的设计，还依赖于数据的良好表示（特征集）。缺乏一些重要信息或包含不正确或大量冗余信息的无效数据表示可能导致算法在处理不同任务时表现不佳。表示学习的目标是从数据中提取足够但最少的信息。传统上，这可以通过基于数据和任务的先验知识和领域专业知识的人工努力来实现，也称为特征工程。在部署机器学习和其他许多其他人工智能算法过程中，历史上人类的大部分努力都用在预定义管道（管道机制实现了对机器学习全部步骤的流式化封装和管理，它更像是编程技巧的创新，而非算法的创新。）和数据转换的设计。更具体地说，特征工程是一种利用人类智慧和先验知识的方法，希望从数据中提取和组织有区别的信息，用于机器学习任务。例如，可能会要求政治科学家将关键词列表定义为社交媒体文本分类器的特征，以检测社会事件中的文本。对于语音转录识别，可以选择通过傅里叶变换等操作从原始声波中提取特征。尽管特征工程近年来被广泛采用，但其缺点也很突出，包括：1）通常需要领域专家的密集劳动。这是因为特性工程可能需要模型开发人员和领域专家之间紧密而广泛的协作。2） 不完整和有偏见的特征提取。具体而言，提取的特征的容量和鉴别能力受到不同领域专家知识的限制。此外，在人类有限知识的许多领域中，提取自身的特征对于领域专家来说是一个开放的问题（就是说没有一个统一的，大家都认可的指标，而是不同医生有自己不同的见解），例如癌症早期预测。为了避免这些缺点，降低学习算法对特征工程的依赖性一直是机器学习和人工智能领域的一个非常理想的目标，这样可以更快地构建新的应用程序，并有望更有效地解决这些问题。

        表示学习技术经历了从传统表示学习技术向更高级表示学习技术的发展。传统方法属于“浅层”模型，旨在学习数据转换，以便在构建分类器或其他预测因子时更容易提取有用信息，例如主成分分析（PCA）（Wold et al，1987）、高斯马尔可夫随机场（GMRF）（Rue and Held，2005）和局部保留投影（LPP）（He and Niyogi，2004）。基于深度学习的表示学习是由多个非线性变换组成的（参照MLP），其目标是生成更抽象、最终更有用的表示。鉴于介绍了最近的进展，并坚持本书的主要主题，这里我们主要关注基于深度学习的表示学习，它可以分为几种类型：（1）监督学习，其中需要大量标记数据来训练深度学习模型。给定训练好的网络，最后一个全连接层之前的输出始终用作输入数据的最终表示；（2） 无监督学习（包括自监督学习），它有助于分析没有相应标签的输入数据，旨在了解数据的内在结构或分布。预处理任务用于从大量未标记数据中探索监督信息。基于构建的监督信息，对深度神经网络进行训练，以提取未来下游任务的有意义表示；（几种监督学习的区别可以查看我的另一篇博客​​​​​​​有监督学习、无监督学习、半监督学习、自监督学习、弱监督学习的区别_刘大彪的博客-CSDN博客）（3） 迁移学习，包括利用任何知识资源（即数据、模型、标签等）来提高目标任务的模型学习和泛化的方法。迁移学习包括不同的场景，包括多任务学习（MTL）、模型自适应、知识迁移、协方差变换等。还有其他一些重要的表示学习方法，如强化学习、少样本学习和解耦表示学习。

        定义什么是好的表示是很重要的。正如Bengio（2008）所定义的那样，表示学习是关于学习数据的（底层）特征，使其在建立分类器或其他预测器时更容易提取有用信息。因此，对所学表示的评价与它在下游任务中的表现密切相关。例如，在基于生成模型的数据生成任务中，一个好的表示往往是能够捕捉到观察到的输入的基本解释因素的后验分布。而对于预测任务来说，一个好的表示是能够捕捉到输入数据的最小但足够的信息以正确预测目标标签。除了从下游任务的角度进行评价外，还有一些好的表示可能具有的一般属性，如平滑性、线性、捕获多个解释因素和偶然因素、捕获不同任务的共享因素和简单的因素依赖。