Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

一、核心贡献

To fully exploit the supervision in the source domain, we propose a fine-grained adversarial learning strategy for class-level feature alignment while preserving the internal structure of semantics across domains. We adopt a fine-grained domain discriminator that not only plays as a domain distinguished, but also differentiates domains at class level.

为了充分利用源域的监督作用，我们提出了一种细粒度的类级特征对齐对抗学习策略，同时保留了跨域语义的内部结构。我们采用了一个细粒度的域鉴别器，它不仅作为一个被区分的域，而且在类级别上区分域。

二、motivation

主流方法都是用feature network去fool判别去，从而生成domain-invariant features。但是并没有专注于每个领域下的类别的分布，然而，正如最近的著作[3,17]所讨论的，匹配边缘特征分布并不能保证在目标域上有小的期望误差。类的条件分布也应该是对齐的，这意味着类级别的对齐也扮演着重要的角色。 这个问题，有两个人[7, 20]已经尝试去解决。

Chen等[7]提出使用几个独立的鉴别器来执行类对齐，但是独立的鉴别器可能无法捕获类之间的关系。Luo等人[20]引入了一种自适应对抗损失，对每个区域应用不同的权重。然而，实际上，它们没有显式地将类信息合并到它们的方法中，这可能不能促进类级别的对齐。

三、方法

传统的adversarial domain adaption， 是用对抗学习，让source domain跟target domain之间的边界模糊化，让生成的特征domain-invariant（领域无关），来强化source domian数据训练的模型，在target domain上的效果。但是正如上面所谈到，这个方法在模糊边界的同时，会弱化source domain中不同类别的分布问题。

要达成上述目标，我们需要让模型能够学习到domain-invariant 的识别任务。论文推了几个公式，大概就是把domain labels 拓展成了domain-class label。 就是把不同domain 的分類結果都當成一個類別，loss 是下圖的這個部分。

image.png

为了配合这个loss, 我们需要详细分析了几种生成domain encoding的做法。很明显第三个会好，这个问题在很多其他问题上都有谈到过。其实就是可导不可导的问题。

image.png