迁移学习

1、TCA 迁移成分分析 让源域和目标域距离尽可能小

2、JDA 联合分布适配 同时适配条件分布、和边缘分布

3、How transferable are features in deep neural networks

• 神经网络的前3层基本都是general feature，进行迁移的效果会比较好；
  
• 深度迁移网络中加入fine-tune，效果会提升比较大，可能会比原网络效果还好；
  
• Fine-tune可以比较好地克服数据之间的差异性；
  
• 深度迁移网络要比随机初始化权重效果好；
  
• 网络层数的迁移可以加速网络的学习和优化

4、如何进行迁移学习

对于一个深度网络，随着网络层数的加深，网络越来越依赖于特定任务；而浅层相对来说只是学习一个大概的特征。不同任务的网络中，浅层的特征基本是通用的。这就启发我们，如果要适配一个网络，重点是要适配高层——那些task-specific的层。

DaNN；

DDC的思想非常简单：在原有的AlexNet网络的基础上，对网络的fc7层（分类器前一层）后加一层适配层（adaptation layer）。适配层的作用是，单独考察网络对源域和目标域的判别能力。如果这个判别能力很差，那么我们就认为，网络学到的特征不足以将两个领域数据区分开，因而有助于学习到对领域不敏感的特征表示。

DAN是在DDC的基础上发展起来的，它很好地解决了DDC的两个问题：

• 一是DDC只适配了一层网络，可能还是不够，因为Jason的工作中已经明确指出不同层都是可以迁移的。所以DAN就多适配几层；
• 二是DDC是用了单一核的MMD，单一固定的核可能不是最优的核。DAN用了多核的MMD（MK-MMD），效果比DDC更好。

它基于AlexNet网络，探索source和target之间的适配关系。它的优化目标由两部分组成：损失函数和分布距离。损失函数是预测值和真实值的差异。分布距离就是MK-MMD距离

JAN  把feature和label的联合概率分布也考虑了进来，可以视作之前JDA（joint distribution adaptation）的深度版。

论文

1 开放集迁移学习Simultaneous Deep Transfer Across Domains and Tasks

 joint CNN architecture for domain and task transfer.针对： target的部分class有少量label，剩下的class无label。

Pau Panareda Busto and Juergen Gall. Open Set Domain Adaptation. ICCV 2017.

2 Hao Lu, Lei Zhang, et al. When Unsupervised Domain Adaptation Meets Tensor Representations. ICCV 2017.

张量迁移学习