迁移学习_迁移学习简明手册(王晋东)_阅读笔记9

9.深度迁移学习

深度学习优势： 由于深度学习直接对原始数据进行学习，所以其对比非深度方法还有两个优势：自动化地提取更具表现力的特征，以及满足了实际应用中的端到端 (End-to-End) 需求。

最简单的深度迁移：fnetune

优势：

扩展：

深度网络自适应：

fnetune有它的先天不足： 它无法处理训练数据和测试数据分布不同的情况。
自适应 能够使得源域和目标域的数据分布更加接近，从而使得网络的效果更好。

设计深度迁移网络的基本准则： 决定自适应层，然后在这些层加入自适应度量，最后对网络进行fnetune。

核心方法：

DDC方法(Deep Domain Confusion)

DDC遵循了我们上述讨论过的基本思路，采用了在ImageNet数据集上训练好的AlexNet网络进行自适应学习。DDC固定了AlexNet的前7层，在第8层(分类器前一层)上加入了自适应的度量。自适应度量方法采用了被广泛使用的MMD准则。DDC方法的损失函数表示为：

DAN方法(Deep Adaptation Networks)

对DDC方法进行了几个方面的扩展: 首先，有别于DDC方法只加入一个自适应层，DAN方法同时加入了三个自适应层(分类器前三层)。 其次，DAN方法采用了表征能力更好的多核MMD度量(MK-MMD) 代替了DDC方法中的单一核MMD。然后，DAN方法将多核MMD的参数学习融入到深度网络的训练中， 不增加网络的额外训练时间。DAN方法在多个任务上都取得了比DDC更好的分类效果。

同时迁移领域和任务

深度联合分布自适应
Joint Adaptation Network

JAN方法将只对数据进行自适应的方式推广到了对类别的自适应，提出了JMMD度量(Joint MMD)

AdaBN(Adaptive Batch Normalization)

深度对抗迁移网络

核心方法：

DANN(Domain-Adversarial Neural Network)

网络的学习目标是： 生成的特征尽可能帮助区分两个领域的特征，同时使得判别器无法对两个领域的差异进行判别。
该方法的领域对抗损失函数表示为：

DSN网络(Domain Separation Net-works)

Selective Adversarial Networks(SAN)

作者指出partial transfer learning。这个partial，就是只迁移源域中那部分和目标域相关的样本。
作者提出了一个叫做Selective Adversarial Networks(SAN)的方法来处理partial transfer问题。在partial问题中，传统的对抗网络不再适用。所以就需要对进行一些修改，使得它能够适用于partial问题。

DAAN(Dynamic Adversarial Adaptation Networks)

附：手册作者个人网站