迁移学习基础知识整理

基本概念

• 迁移学习研究如何把源域的知识迁移到目标域上。

  相似性是核心，度量准则是重要手段。

• 领域（Domain，$D$）：学习的主体，分为源域 和 目标域

  • 源域（source domain）：已有的知识

  • 目标域（target domain）：要学习的新知识

• 任务（Task）：学习目标，标签 和 标签对应的函数 组成

• 邻域自适应（Domain Adaptation）：利用有标记的数据 $D_s$ 去学习一个分类器 $f:x_T\mapsto y_t$ 来预测目标域 $D_t$ 的标签 $y\in Y_t $

• 负迁移：如果源域和目标域之间相似度不够，迁移结果并不会理想

• 常用符号

迁移学习的价值

• 复用现有知识域数据，已有的大量工作不至于完全丢弃；
• 不需要再去花费巨大代价去重新采集和标定庞大的新数据集，也有可能数据根本无法获取；
• 对于快速出现的新领域，能够快速迁移和应用，体现时效性优势。

与传统机器学习的对比

• 传统机器学习：
  • 在应对数据的分布、维度，以及模型的输出变化等任务时，模型不够灵活、结果不够好
  • 传统机器学习对不同的学习任务建立不同的模型
• 迁移学习：放松了这些假设。
  • 在数据分布、特征维度以及模型输出变化条件下，有机地利用源域中的知识来对目标域更好地建模。
  • 在有标定数据缺乏的情况下，迁移学习可以很好地利用相关领域有标定的数据完成数据的标定。
  • 迁移学习利用源域中的数据将知识迁移到目标域，完成模型建立

迁移学习分类

分类准则：有无标签、学习方法、特征、离线 or 在线

• 按目标域

  • 监督
  • 半监督
  • 无监督

• 按照学习方式分类：

  • 基于样本（实例） 的迁移：直接对不同的样本赋予不同权重
  • 基于特征的迁移：通过将源域和目标域映射到相同的空间，或者将其中之一映射到另一个的空间中，并最小化源域和目标域的距离来完成知识迁移
  • 基于关系的迁移：通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移。神经网络中用的多（比如 fine tune）。
  • 基于模型的迁移：将源域和目标域的模型与样本结合起来调整模型的参数

• 按照特征分：
  • 同构：特征语义和维度相同是同构（图片到图片）
  • 异构：完全不同（图片到文本）

迁移学习解决的方法

• 大数据与少标注：迁移数据标注

  利用迁移学习的思想，寻找一些与目标数据相近的有标注的数据，从而利用这 些数据来构建模型，增加我们目标数据的标注。

• 大数据与弱计算：模型迁移

  将那些大公司在大数据上训练好的模型，迁移到我们的任务中。针对于我们的任务进行微调，从而我们也可以拥有在大数据上训练好的模型。

  将这些模型针对我们的任务进行自适应更新，从而取得更好的效果。

• 普适化模型与个性化需求：自适应学习

  进行自适应的学习。考虑到不同用户之间的相似性和差异性，对普适化模型进行灵活的调整。

• 特定应用的需求：

  相似领域知识迁移 为了满足特定领域应用的需求，我们可以利用上述介绍过的手段，从数据和模型方法上 进行迁移学习。

应用

计算机视觉、文本分类、行为识别、自然语言处理、室内定位、视频监控、舆情分析、人机交互等

• 不同视角、背景、光照的图像识别

• 不同语言之间的翻译

• 不同领域和背景的文本翻译、舆情分析

• 不同用户、设备、位置的行为识别

• 不同用户、接口、情境的人机交互

• 不同场景、设备、时间的室内定位

未完待续