论文:Adversarial Learning for Semi-Supervised Semantic Segmentation

1、Adversarial Learning for Semi-Supervised Semantic Segmentation
目的:学习对抗训练是如何做语义分割,思想,做法,结论,和后续用这种思想的方法做对比
1)先整体看下文章做了什么工作?
      对抗的学习框架提高语义分割精度,在推理过程中,并不需要判别器,所以不会增加额外的计算。
       半监督的方法,在训练时用了无标注的图像。
2)整个过程是怎么做的?
论文:Adversarial Learning for Semi-Supervised Semantic Segmentation_第1张图片
       输入一张图片,经过一个分割网络(论文采用的是DeeplabV2),可以得到分割结果HxWxC。首先,训练一个判别器(论文采用的是FCN-based的全卷积网络),判别器目的是要区分输入的图片是GT还是分割网络预测的结果。所以判别器的输出为spatial probability maps,大小为HxW,损失函数可以采用二分类交叉熵。
在这里插入图片描述
公式中,GT大小也是HxWxC,one-hot形式。
       然后是训练分割网络(生成器),训练数据包含带label和unlabel,先用带lable数据迭代5000次,损失包含三部分,与GT的交叉熵损失,对抗损失,以及半监督损失。训练的分割网络,它的目标是要欺骗判别器,要达到这个目的,那分割网路的输出应和GT接近。这里的关键是自监督损失这部分,当采用无label的数据时,由于判别器的输出和GT应该是比较接近的,所以,直接设定阈值,选择那些高置信度的区域,把这些可信区域当做是图像的label,实现自监督学习。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
3)总结
       整个对抗学习框架思想,进一步提高分割结果精度,应该受已有分割结果影响,用来指导自监督学习。这部分还需要从代码上去学习,掌握这种方法论。

你可能感兴趣的:(语义分割,深度学习,神经网络,计算机视觉)