「Transfer Learning」Note on AdaptSegNet（适配分割网络）

Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/80024059

作者：Yi-Hsuan Tsai, Wei-Chih Hung, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang, Manmohan Chandraker

0 摘要

AdaptSegNet[1]在标签空间上进行对抗学习。针对的问题是，基于卷积网络的方法，其泛化能力不足，尤其是当训练/源图像集和测试/目标图像集之间存在较大的域差距(domain gap)或域偏移(domain shift)的时候，也即两者分布差异较大。语义分割是一个结构化输出问题，在源域和目标域的概率/标签空间上具有空间相似性(spatial similarities)。本文还使用多水平对抗网络，在不同特征水平上，进行输出空间域适配。

1 介绍

在特征空间上进行对抗学习，并且应用在语义分割任务上，有这两种经典方法，其一为No more discrimination，其二为FCNs in the Wild。特征适配可能要遭受高维特征带来的复杂性，不得不编码不同视觉线索，比如外观、形状和上下文信息。作者没有考虑特征适配，而考虑适配像素级预测。作者注意到，在语义分割中，输出空间在空间和局部上，包含丰富信息，比如源域和目标域在外观上可能非常不同，可是在分割结果上会具有很多相似性，如空间布局和局部上下文，如图1所示。

图 1：图像空间具有较大差异，而标签空间具有较小差异

与生成对抗网络类似，本文所提出模型由两部分组成，其一为分割模型，而在生成对抗网络中是生成网络，分割模型通常是全卷积网络FCN，而生成网络通常是放大网络/反卷积网络DeconvNet；其二为判别器，鉴定输入来自源分割输出，还是目标分割输出。本文所提出方法还适配多水平特征。

3 算法概述

3.1 论文中的领域适配（domain adaptation）由分割网络和判别网络组成。其中判别网络可以有多个，比如论文使用了2两个，表示使用了2两个水平的输出空间。如图1所示。首先正向传播源图像集 $I_s$ 来优化分割器/生成器 $G$。然后预测目标图像集 $I_t$ ，得到softmax输出 $P_t$ 。接着将目标图像集输出 $P_t$ 和 源图像集输出 $P_s$ 都输入到同一级水平的判别器 $D$ 中。两级水平判别器 $D_i,i=1,2$ 提供梯度给生成器 $G$ 。

图 2：算法概述

3.2 上述网络的损失函数为 $$L(I_s,I_t)=L_{seg}(I_s)+{\lambda }_{adv}{L}_{adv}(I_t)$$ 式中，第一项为CE损失，第二项为adv损失。

4 输出空间适配

论文的idea是“Our intuition is that no matter images are from the source or target domain, their segmentations should share strong similarities, spatially and locally.”。
单水平和多水平对抗学习的公式见论文。

5 网络结构和训练

判别器网络采用类似DCGAN的结构[2]（详见DCGAN的设计原则）。另外，论文中的网络不使用BatchNorm层，因为使用较小的batch size。
分割器网络采用DeepLab-v2-ResNet-101-pre-trained-ImageNet[3]。
在网络训练中，分割网络使用SGD，而判别网络使用Adam。感觉有点奇怪。

6 实验结果

此部分不详细展示。总之，数据可信，因为给出了代码和已训练好的模型，评估分数如论文中所言。定性结果看起来也不错。

图 2

[1] Learning to Adapt Structured Output Space for Semantic Segmentation CVPR 2018 [Arxiv paper] [Pytorch code]
[2] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 2015 [Arxiv paper]
[3] DeepLab Semantic Image Segmentation with Deep Convolutional Nets Atrous Convolution and Fully Connected CRFs 2016 [Arxiv paper]