用于语义分割的半监督自训练的最新工作（2020.12.7）

用于语义分割的三阶段半监督自训练

https://arxiv.org/pdf/2012.00827.pdf

语义分割在社区中得到了广泛的研究，其中最先进的技术是基于监督模型的。这些模型报告了前所未有的性能，代价是需要大量高质量的分割掩模。获取这样的注释是非常昂贵和耗时的，特别是在需要像素级注释的语义分割中。在这项工作中，我们提出一个整体解决方案，架构为一个三阶段的自训练架构，用于半监督语义分割。该技术的核心思想是提取伪掩模统计信息，以减少预测概率的不确定性，同时以多任务的方式增强分割的一致性。我们通过三阶段解决方案实现这一目标。首先，我们训练一个分割网络来产生预测概率高度不确定的粗糙伪面具。其次，我们使用一个多任务模型来降低伪掩码的不确定性，该模型在利用数据丰富的统计信息的同时加强了一致性。我们将我们的方法与现有的半监督语义分割方法进行了比较，并通过大量的实验证明了它的最新性能。

用自训练来改进语义分割

https://arxiv.org/abs/2004.14960v2

深入学习通常在完全监督下达到最佳效果。在语义分割的情况下，这意味着需要大量的像素注释来学习精确的模型。在这篇论文中，我们展示了我们可以使用半监督的方法，特别是自我训练范式来获得最新的结果。我们首先在有标签的数据上训练一个教师模型，然后在大量未标记的数据上生成伪标签。我们强大的训练框架可以同时消化人工标注和伪标签，并在城市景观、CamVid和KITTI数据集上取得最佳性能，同时需要的监督要少得多。我们还证明了自训练在具有挑战性的跨域泛化任务中的有效性，比传统的精细调整方法有很大的提高。最后，为了减轻由大量伪标签所造成的计算负担，我们提出了一种快速的训练计划，在不降低性能的情况下，将分割模型的训练速度提高2倍。

Semi-Supervised Semantic Segmentation via Dynamic Self-Training and Class-Balanced Curriculum

https://arxiv.org/abs/2004.08514

本文提出了一种新颖简洁的半监督语义分割方法。这项任务的主要挑战在于如何有效和彻底地利用未标记的数据。以前的最新方法是通过基于GAN的自训练或一致性正则化来利用未标记的数据。然而，这些方法要么存在噪声的自我监督和类不平衡，导致未标记数据的利用率较低，要么没有考虑到自训练和一致性正则化之间的明显联系。我们提出的动态自训练与班级平衡课程（DST-CBC）方法，利用模型间的不一致性，通过预测置信度来构造一个对伪标签噪声具有鲁棒性的动态损失，从而将伪标记扩展到班级均衡课程学习过程中。我们进一步证明了我们的方法隐含地包含了一致性正则化。因此，DST-CBC不仅可以有效地利用未标记的数据，而且可以充分利用所有未标记的数据。在不使用对抗性训练或对网络结构进行任何修改的情况下，DST-CBC在不同数据集上的所有标记比率上都优于现有方法，使半监督学习更接近于完全监督学习的语义分割性能。我们的代码和数据拆分可从以下网址获得：https://github.com/voldemortX/DST-CBC.

Mumford-Shah Loss Functional for Image Segmentation with Deep Learning

https://arxiv.org/abs/1904.02872

目前最新的图像分割算法大多是基于深度神经网络的图像分割算法，其性能高、计算速度快。然而，这些方法通常是在有监督的情况下训练的，这就需要大量高质量的地面真值分割掩模。另一方面，经典的图像分割方法（如levelset方法）是通过最小化Mumford-Shah函数等能量函数以自监督的方式制定的，因此它们仍然有助于无标签分割掩模的生成。不幸的是，这些算法通常计算量大，并且在语义分割方面往往有局限性。本文基于Mumford-Shah函数提出了一种新的损失函数，该函数可用于无标记数据或有小标记数据的深度学习图像分割。这个损失函数是基于对深层神经网络的softmax层与Mumford-Shah函数中的特征函数有着惊人的相似性的观察。我们证明了新的损失函数可以实现半监督和无监督分割。另外，我们的损失函数也可以作为一个正则化函数来增强有监督的语义分割算法。在多个数据集上的实验结果证明了该方法的有效性。

Semi-Supervised Semantic Image Segmentation with Self-correcting Networks

https://arxiv.org/abs/1811.07073

对于高质量的图像分割来说，建立大规模的语义掩模是非常耗时的。在本文中，我们介绍了一个原则性的半监督框架，它只使用一小组完全监督的图像（具有语义分割标签和框标签）和一组仅具有对象边界框标签的图像（我们称之为弱集）。我们的框架通过辅助模型训练主分割模型，辅助模型为弱集生成初始分割标签，以及一个自校正模块，在训练过程中使用越来越精确的主模型改进生成的标签。我们介绍了两种使用线性或卷积函数的自校正模块。在PASCAL VOC 2012和Cityscape数据集上的实验表明，我们使用小的全监督集训练的模型的性能与用大的全监督集训练的模型性能相似或更好，同时所需的注释工作量减少了约7倍。