论文解读：Conditional Generative Adversarial Network for Structured Domain Adaptation

论文题目：Conditional Generative Adversarial Network for Structured Domain Adaptation

论文主要贡献：通过条件生成网络提高分割模型的域自适应能力；

论文主要网络结构：

基础结构：VGG-19+FCN-8s

创新点：在conv1成提取的low-level特征结合noise(通过concat)条件生成出特征和conv5的特征像素级的相加得到特征融合的结果，在融合后的特征图上进行分割和判别；

1、因此和原始的域自适应的方法主要差别就在于多了一个条件生成的分支；

2、同时可以看到该网络变相放松了约束，原来的自适应结构需要源域和目标域的判别器输入是公共特征图，也就是源域和目标域共享最后的特征结构，但是本论文有条件生成的分支并与源域的conv5特征融合，而目标域的特征就是Conv5，因此判别器的输入的源域和目标域的特征是不同的；

3、在conv1和noise的concat，引入noise增加了条件生成的多样性，防止模式崩塌；

训练过程：resize成[480，960]输入，先训练分割器T和判别器D，冻结生成器G和特征提取器conv1-5，然后冻结D和T，训练G和特征提取器；其中训练T时用到了源域的非自适应的特征图和自适应的特征图，因为单纯的利用自适应的特征图会造成训练不稳定，因为自适应可能造成类别偏移，即转换时将类1转成了类2，即使最后收敛，也需要训练更多的epochs；而两个都训练能稳定训练，避免转换类别偏差；

论文原话：Notice that we train T with both adapted and nonadapted source feature maps. Training T solely on adapted
feature maps leads to similar performance, but requires many runs with different initializations and learning rates due to the instability of the GAN. Indeed, without training on source as well, the model is free to shift class assignments (e.g. class 1 becomes 2, class 2 becomes 3 etc.), meanwhile the objective function is still optimized. Similiar to [4], training classifier T on both source and adapted images avoids this shift and greatly stabilizes training.

实验结果：

补充实验：

1、条件生成器的作用：

2、条件生成器的特征输入层的确定和残存block数目

有得条件生成器是在输入image上假设噪声，如上左图，这种的concat效果最好，但是本文用conv1的特征和noise想concat，主要基于计算量，conv1提取的特征图比原始image尺寸要小，而且conv1和原图的性能也比较接近；resual block最终选择16，也是基于计算复杂度的考虑，16和32性能也比较接近；

3、noise的重要性

 

 

Addition：

skil pooling的提出论文：

S. Bell, C. Lawrence Zitnick, K. Bala, and R. Girshick. Inside-outside net: Detecting objects in context with skip pooling and recurrent neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2874–2883, 2016. 7