Transferable Attention for Domain Adaptation阅读笔记

背景介绍：
域自适应的最新研究是通过反向学习一种域不变量表示来连接不同的域。现存的方法主要用于联合适配源域与目标域的全局图像。然而，尽管如此，并不是每一个区域都是可迁移的，而强制结合不可迁移的区域，可能会导致负迁移。此外，一些图像在不同的域之间存在显著的差异，导致图像级别的可移植性较弱。因此，本文提出了TADA这一种方法聚焦于在图片里找寻适合迁移的区域，在数据集中寻找适合迁移的图片，本文实施了两个可迁移注意力机制，第一个是多个可迁移区域性鉴别器产生局部注意力来找寻一张图片里适合迁移的部分；第二个是由单一的图片级别的分类器实现全局注意力机制。
本文的主要工作：本文提出了用于域适应的可迁移注意力机制，实现了两种互补的可转移注意力:由多个区域级域鉴别器产生的可转移局部注意力，以突出可转移区域；以及单独的图像水平的域鉴别器来生成全局注意力来把可迁移的图像强调出来。可迁移局部注意力考虑了不同区域可迁移性的变化，可迁移性是由一个多对抗性网络对不同区域提取的表示形式实现的。此外，可迁移的全局注意力考虑了差分的可迁移性的可变性，探索了图像在不同区域之间越相似，对分类任务的贡献就越大的事实。
模型架构：
本架构聚焦于无监督域适应问题，源域上数据为{Xs,Ys}，有标签，而目标域上数据为{Xt},无标签，本文的目标是在源域上建立一个效果好的有监督分类模型，并能将这一个模型迁移到目标域上，并获得不错的分类效果。
回顾之前的工作不难发现，之前的几种常见方法的迁移是粗粒度的迁移，换言之，就是一种粗暴的迁移，要么选取整幅图像进行迁移，要么就不用这幅图像进行迁移，而没有考虑到图像个体自生结构对迁移的影响。
首先先回顾一下经典的DaNN网络的架构

其表达式是：

这里第一项是分类损失，第二项是对抗损失，其中Gf是特征提取器，Gy得到各个类别的分类损失，Ly是分类损失函数，Gd是源域与目标域类别分类器，Ld是分类损失函数，这个表达式是借用GAN的思想，最小化源域有监督训练损失，最大化域分类损失，从而提取出源域与目标域的共同特征，这样在源域有监督训练良好的模型可以较小负迁移的迁移到目标域上达到较好的分类效果。

1. 可迁移局部注意力
   正如之前所说，同一幅图像的不同区域并不是都适合迁移的，有的区域就是比别的区域更加适合迁移，因此为了匹配源域与目标域在同一幅图像不同区域的结构特征，需要将上述DaNN网络架构的第二项进行改良，从而实现局部注意力。
   这一部分的表达式是
   
   本质而言这就是上述DaNN网络的第二项的变体，这里首先将源域与和其对应的目标域图片每一幅图片分成了k个区域，每个区域对应一个域分类器G_d^k,这样，上述表达式相当于在每一幅图片的k个区域上均进行了源域与目标域的适配，这样Ll就表示n幅图片每个图片均划分为k个区域，做源域与目标域对应图片的域鉴别，从而根据这个表达式将每个小区域判定所属的域，本质上是一个细粒度分类。输出 表示图像i的第k个区域属于源域的可能性，而局部注意力机制就是为了选取出适合源域到目标域迁移的区域。因此利用信息熵的表达式来表征这种可迁移性，其表达式是

这样，每个区域对应的迁移权重就变成了
这种局部注意力的机制可以帮助实现从源域到目标域的细粒度级别的迁移，但是在训练中的负迁移的影响也需要考量，因此引入了深度残差机制来调整特征权重，其表达式是

2. 全局迁移注意力
在局部上的迁移无法解决在整个图像级别的一些问题，比如图像旋转，拉伸等带来的迁移，就需要引入一个全局注意力来解决这个问题。在这里全局迁移注意力的表达式是

这里Gd是域分类器，Gb是与DaNN类似的bottleneck layer，所谓bottleneck layer就是指输入进入神经网络后，输出的维度远远比输出小的一种形式，一种比较常见的例子就是在自编码器中输入图像经过卷积等处理后变为一个一维的向量，这个向量就相当于bottleneck layer的输出，其作用就是尽可能简明的表征输入的特征。但是与DaNN不同的地方在于DaNN的bottleneck layer输入的是图像，而这里输入的局部注意力机制得到的权重h_i。
与局部注意力机制类似的是，它利用全局分类器的输出来产生一个注意力值，其全局注意力值的表达式是：

这里di是对应图像的全局迁移度，这副图像的迁移性越好，则其mi(全局迁移注意力值)越大，这个mi值可以嵌入到最后的注意力损失熵里面，其表达式是

这里c表示总种类数目，pi,j表示第i个图属于第j类的可能性，这样的话，全局注意力的值就应用到了强调图像迁移特性这一点上了，由于每个图像的注意力值是根据其可迁移性产生的，所以这种全局注意力自然是可以跨域迁移的。
3. 模型整合
通过应用可迁移局部注意力和可迁移全局注意力模块，减轻了每个区域的负迁移，增强了每个图像的正迁移。基于不同区域的多对抗网络的局部注意力模块，实现了从源到目标域的细粒度传输路径。而全局注意力模块则嵌入在全局特征上，应用在分类器能够根据翻转、旋转或其他转换引起的领域变化传递知识之中。通过这一嵌入到损失函数的操作使分类器生成正确的预测。
最终总的TADA网络的损失函数就是：

与DaNN比较，第一，三项其实并没有数目变化，只是这里第三项输入从图片变成了局部注意力得到的权重值并且Gf变成了Gb,而第二项就是全局注意力值嵌入到分类损失函数中，使分类结果更加准确，最后一项则是保证局部注意力值准确性。
这样总的流程图就是