基于领域自适应的语义分割（DA-based SS）

---

1. 预备知识

1.1 域适应 (Domain Adaptation, DA)

领域自适应介绍

1.2 语义分割 (Semantic Segmentation, SS)

语义分割介绍

---

2. 相关论文

---

2.1 CVPR 18-Learning to Adapt Structured Output Space for Semantic Segmentation

基于结构化输出空间的自适应语义分割

1. CVPR 18
2. arxiv
3. Code
4. 笔记

---

动机 动机：来自不同域的图片可能在外观上有很大的不同，但是他们的分割输出是结构化的，共享很多的相似性，比如空间布局和局部上下文。

---

整体架构

算法概述：
1） 训练分割网络：
源域和目标域给出大小为H×W的图像，我们将它们输入分割网络以获得输出预测。 对于具有C类的源类预测，基于Ground Truth计算分割损失。

2）训练判别网络：
为了使目标类预测更接近源类预测，我们利用判别器来区分输入是来自源域还是目标域。

3）自适应过程：针对目标预测计算对抗损失，并将其反向传播到分割网络。 我们将此过程称为一个自适应模块，我们通过在两个不同层面采用两个自适应模块来说明我们提出的多层次对抗性学习。

---

2.2 CVPR 18-Fully Convolutional Adaptation Networks for Semantic Segmentation

基于全卷积自适应网络的语义分割

1. CVPR 18
2. 笔记

---

整体架构

架构概述：
1） AAN：进行一个风格迁移，使得两个域的图片从外观上具有域不变的性质。
2） RAN：进行对抗学习，使得判别器无法区分学到的表示来自源域还是目标域。

---

2.3 ECCV 18-Domain Adaptation for Semantic Segmentation via Class-Banlanced Self-Training

基于类均衡的自训练的自适应语义分割

1. CVPR 18
2. 笔记

---

整体架构

左图：算法流程
右图：Cityscapes数据集的语义分割结果，适应前vs适应后

---

3. 总结

• 关于域的理解：域适配当中的域指的是一个领域，类似于聚类中的簇。通常，域适配的文章中的实验是针对分类任务的，某个类别就可以看作是一个领域域。但是在分割任务重，一个域指的是一类分割场景，比如街道场景、游戏场景。这里的场景中包含多中类别的物体，但是就分割任务而言，某一个场景就是一个领域。
• 目前的自适应语义分割的训练策略包含两种：对抗训练和自训练。针对语义分割网络的架构，分别从输入和输出来做文章。

---