[论文笔记]迁移自适应学习十年综述

https://arxiv.org/abs/1903.04687

Transfer Adaptation Learning: A Decade Survey

Abstract

我们看到的世界在不断变化，它总是随着人，事物和环境的变化而变化。域（domain）是某个时刻的世界状态。域迁移适应（domain transfer adaptation）研究问题的特点是：不同时刻间的知识需要对应。传统的机器学习旨在通过最小化训练数据上的正则化经验风险来找到具有对测试数据的最小预期风险的模型，然而，假设是训练和测试数据共享相似的联合概率分布。迁移适应学习旨在通过学习来自语义相关但分布不同的源域的知识来构建可以执行目标域任务的模型。这是一个充满活力的研究领域，具有越来越大的影响力和重要性。本文调研了迁移适应学习方法和潜在基准的最新进展。指出了迁移适应学习研究人员面临的更广泛的挑战，即实例重加权适应，特征适应，分类器适应，深度网络适应和对抗适应，这些挑战已经超出了早期的半监督和无监督分法。该综述为研究人员提供了一个框架，以便更好地理解和确定该领域的研究现状，挑战和未来方向。

迁移学习中的五个挑战：

• Instance Re-weighting Adaptation。由于跨域数据间的概率分布差异，通过基于源和目标数据之间的特征分布匹配，以非参方式直接推断实例的重采样权重来自然考虑差异，参数分布假设下的权重参数估计仍然是一大挑战。
• 特征适应。为了适应多源数据，需要学习一个通用的特征空间或者表示，其中投影的源和目标域具有相似的分布，数据分布的异质性使得获得这样的通用特征表示相当的具有挑战性。
• 分类器适应。由于目标域的移位问题，对源域样本进行训练的分类器通常都是有偏差的。从多个域中学习可以用于其他不同域的通用分类器是一个非常具有挑战性的主题。
• 深度网络适应。目前已经认识到深度神经网络具有非常强大的特征表示能力，并且可以在单一域中构建通用的深度模型。域的大尺度变动使得深度神经网络难以构建出可迁移的深度表示。
• 对抗式适应。对抗性学习起源于生成式对抗网络，TL/DA目标是使得源域和目标域在特征空间内更加的接近。通常来说，两个域一定会发生混淆，难以区分。因此，使用对抗性训练和游戏策略的域混淆问题中，存在着不小的技术挑战。

本文分别针对以上5个挑战，从多个维度进行了梳理，包括：弱监督学习观点、Instance Re-weighting Adaptation、特征适应、分类器适应、深度网络适应、对抗适应、基准数据集等内容。