迁移学习Transfer Learning

在迁移学习中，我们已有的知识叫做源域(source domain)，要学习的新知识叫目标域(target domain)。

迁移学习研究如何把源域的知识迁移到目标域上。特别地，在机器学习领域中，迁移学习研究如何将已有模型应用到新的不同的、但是有一定关联的领域中。

(a)传统机器学习对不同的学习任务建立不同的模型，(b)迁移学习利用源域中的数据将知识迁移到目标域，完成模型建立。

迁移学习按照学习方式可以分为:

    基于样本的迁移：通过对源域中有标定样本的加权利用完成知识迁移

    基于特征的迁移：通过将源域和目标域映射到相同的空间（或者将其中之一映射到另一个的空间中）并最小化源域和目标域的                                  距离来完成知识迁移

    基于模型的迁移：将源域和目标域的模型与样本结合起来调整模型的参数

    基于关系的迁移：通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移

迁移学习按照迁移情景可以分为：

    归纳式迁移学习(inductive transfer learning)：源域和目标域的学习任务不同

    直推式迁移学习(transductivetransfer learning) ：源域和目标域不同，学习任务相同 

    无监督迁移学习(unsupervised transfer learning) ：源域和目标域均没有标签

迁移学习按特征空间可以分为：

    同构迁移学习：特征维度相同分布不同

    异构迁移学习：特征维度不同