Transfer Learning基础知识记录与学习

迁移学习的分类：

按迁移情景分类

• 归纳式迁移：不论源域与目标域是否相同，目标域任务都是不同于源域任务的。
• 直推式迁移：源域与目标域是不相同的，但是源域任务和目标域任务是相同的。
• 无监督迁移：与归纳式迁移类似，目标域任务与源域任务相关但是不相同。此外，无监督迁移关注的是在目标域上的无监督学习（聚类，降维等）。

按迁移方法分类

• 基于实例的迁移：对源域的样本不断更新权重并应用在目标域中，这种方法停留在样本的层面。
• 基于特征的迁移：寻求一种更合适的特征表示，使得目标域和源域的特征分布差异更小。
• 基于关系的迁移：通过建立源域和目标域之间相关知识的映射来进行迁移。
• 基于模型的迁移：挖掘源域和目标域模型可以共享的模型参数或者先验，从而进行迁移。

按特征空间分类

同构迁移学习：源域特征空间与目标域特征空间相同。
异构迁移学习：源域特征空间与目标域特征空间不相同。

负迁移：

负迁移（Negative transfer ）是迁移学习领域一个很重要的概念，它是指在进行迁移学习之后目标域预测器的性能反而下降这一现象。显然，负迁移对目标域预测器的构建十分有害，但是不幸的是我们现在仍然无法十分有效的解决之一问题。我个人认为，如果想要预防负迁移的影响，那么仍然需要从上面提到的迁移学习的三个问题入手：何时迁移、迁移什么、如何迁移。在这三个环节上都有可能会引发负迁移，所以需要时时注意自己算法的设计。

Domain Separation Networks（https://arxiv.org/pdf/1608.06019v1.pdf）这篇文章就解决了负迁移的问题。
参考资料：

1. https://zhuanlan.zhihu.com/p/47991650 （根据港科大杨强教授的survey进行总结，概念全面）