迁移学习---基本知识

 

• 迁移学习提出背景

在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：

• 1、带标记的训练样本数量有限。比如，处理A领域（target domain）的分类问题时，缺少足够的训练样本。同时，与A领域相关的B（source domain）领域，拥有大量的训练样本，但B领域与A领域处于不同的特征空间或样本服从不同的分布。
• 2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。

这时，知识迁移（knowledge transfer）是一个不错的选择，即把B领域中的知识迁移到A领域中来，提高A领域分类效果，不需要花大量时间去标注A领域数据。迁移学习，做为一种新的学习范式，被提出用于解决这个问题。

• 迁移学习发展历史

迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务：从以前的任务当中去学习知识（knowledge）或经验，并应用于新的任务当中。换句话说，迁移学习目的是从一个或多个源任务（source tasks）中抽取知识、经验，然后应用于一个目标领域（target domain）当中去。

自1995年以来，迁移学习吸引了众多的研究者的目光，迁移学习有很多其他名字：学习去学习（Learning to learn）、终身学习（life-long learning）、推导迁移（inductive transfer）、知识强化（knowledge consolidation）、上下文敏感性学习（context-sensitive learning）、基于知识的推导偏差（knowledge-based inductive bias）、累计/增量学习（increment / cumulative learning）等

• 什么是迁移学习？

其目标是将某个领域或任务上学习到的知识应用到不同的但相关的领域或问题中。例如学习C++的技能可以用来学习java

• 迁移学习的主要思想？

利用相关领域的知识完成目标领域的任务

• 迁移学习研究的意义？

数据的标签很难获取；从头建立模型是复杂和耗时的

• 迁移学习与传统机器学习相比的特点？

迁移学习放宽了传统机器学习训练数据和测试数据服从独立同分布这一假设，从而使得参与学习的领域或任务可以服从不同的边缘概率分布或条件概率分布。

• 迁移学习问题的定义？

迁移学习设计领域和任务两个重要概念。

领域D定义为由d维特征空间X和边缘概率分布P(x)组成；

任务T定义为有类别空间Y和预测模型f(x)(条件概率分布)组成

• 迁移学习的核心？

度量域与域之间的相似度（域-域；样本-域）

• 迁移学习的分类？

异构迁移学习(源领域和目标领域特征空间不同或类别空间不同)

同构迁移学习(源领域和目标领域特征空间相同且类别空间相同)

• 迁移学习问题的主要问题挑战？

包括经典机器学习的过拟合、欠拟合问题，以及迁移学习特有的欠适配、负迁移问题；

a.负迁移：辅助领域任务对目标领域任务有负面效果，目前从算法设计角度对负迁移问题研究的主要思想是减少在领域间迁移的知识结构，例如仅在领域间共享模型的先验概率、而不共享模型参数或似然函数。

b.欠适配：跨领域的概率分布适配问题未能充分修正。

c.欠拟合：学习模型未能充分刻划概率分布的重要结构。

d.过拟合：学习模型过度拟合样本分布的无关信息。

总而言之：过拟合和欠拟合针对的是某个领域的学习模型性能好坏，欠适配和负迁移针对的是辅助领域知识结构或模式对目标领域学习模型性能的影响。

• 迁移学习热门研究领域？

• 现有的概率分布相似性度量函数有哪些？

最大均值差异（MMD）、布雷格曼散度等。

 

• 领域自适应？

DA就是同构迁移学习

 

参考资料：

1. 龙明盛 博士论文《迁移学习问题与方法研究》

2. 张景祥 博士论文《迁移学习技术及其应用研究》

3. 王晋东 《迁移学习简明手册》
4. https://blog.csdn.net/attitude_yu/article/details/79990361 

5.https://zhuanlan.zhihu.com/p/27368456