神奇的深度迁移学习DDC：Deep Domain Confusion: Maximizing for Domain Invariance

1、简介

数据样本不够怎么使用深度学习？大家第一时间想到的肯定是微调已经训练好的模型，像VGG、Inception、Resnet这样的模型，但是有时我们可能会发现，有时微调后的效果并不是很好，可能会需要微调好多层才能得到较好的效果，但是这往往需要大量的样本，但当我们仅有少量或没有带标注的数据时，我们就无法有效的通过微调网络来实现对新样本的识别。存在这一问题的主要原因是源数据与目标数据之间的分布情况不同，所以，在面对新样本时，我们需要使源数据与目标数据之间具有相似的分布情况，这也就是所说的域适应问题，如图1所示。DDC这篇论文，通过在源域与目标域之间添加了一层适应层及添加域混淆损失函数来让网络在学习如何分类的同时来减小源域及目标域之间的分布差异，从而实现域的自适应，成功的解决了这类问题。

图1、域适应

2、方法

2.1 网络结构

本文所采用的网络结构如图2所示，网络包括两个流向，第一条流向的输入为源数据，是带标签的;另一条流向的输入是目标数据，包含少量的带标签数据或不包含带标签数据，两个流向的卷积神经网络共享权值。和以往不同的是，作者在两个流向的网络的特征层之间增加了一个适应层，并通过适应层的输出计算出一个domain loss，文中通过利用源域及目标域特征之间的MMD（Maximum Mean Discrepancy）距离来作为domain loss，通过最小化MMD距离来减小源于与目标域之间的差异，其中MMD的计算公式如式1。

图2 网络结构

最终，网络的损失函数如式2所示。

其中，是分类损失函数，衡量了源域与目标于之间的距离。

2.2 适应层（adaptation layer）位置的选取及大小的设定

网络的结构已经确定了，但是这个适应层的位置及尺寸该如何确定呢？文中通过利用MMD距离来实现对两者的确定。首先，在适应层位置的选取上，通过逐层的计算源数据与目标数据之间的MMD距离，来选择最小的MMD距离的层的位置为适应层的位置。确定适应层的位置后，同样通过尝试不同的尺寸的适应层，选择能使MMD距离最小的尺寸来作为适应层的尺寸。

3、实验结果分析

这部分，作者利用office dataset来进行实验。数据集包含三个不同的部分，Amazon、DSLR、及Webcam。作者分别对Amazon->Webcam、DSLR->Webcam、及Webcam->DSLR进行域适应学习。

3.1 有关适应层的位置及尺寸的实验

为证明以MMD距离作为确定适应层及尺寸的合理性，作者对网络进行了实验。在位置方面，作者分别以fc6、fc7、fc8上添加适应层。实验结果如图3(a)所示，从图上可以看出，测试准确率最高出现在MMD最小出的附近。同样作者在尺寸上分别实验了64到4096的大小，实验结果如图3(b)所示，从图上可以看出，测试准确率最高出现在MMD最小的附近，最终作者在fc7出设置尺寸为256大小的适应层。

(a)特征层与测试准确率及MMD之间的关系                                               (b)适应层尺寸与测试准确率及MMD之间的关系

图3

3.2 实验对比分析

作者分别与6种不同的方法进行对比。对比结果如下：

表1 监督学习下的实验结果对比

表2 无监督学习下的实验结果对比

此外作者对比了一下在有无适应层的约束下的迁移的测试准确率，结果如图4所示。

图4 有无适应层下Amazon->Webcam的测试准确率

4、结论

作者通过添加适应层，相当于在网络上添加了正则化，在这样的正则化的约束下，网络能够更好的适应目标域进而提高对目标的识别准确率。