【论文阅读】【ICLR2022】Unsupervised semantic segmentation by distilling feature correspondences

---

---

ABSTRACT

与以前使用单一的端到端框架来实现这一点的工作不同，我们建议将特征学习从集群紧化 cluster compactification中分离出来。当前的无监督特征学习框架已经产生了密集的特征，其相关性是语义一致的。这一观察结果促使我们设计STEGO（基于能量的图优化的自监督变换器），这是一个新的框架，将无监督特征提取为高质量的离散语义标签。STEGO的核心是一种新的对比损失函数，它鼓励特征形成紧凑的集群，同时保持它们在整个语料库中的关系。STEGO在CocoStuff(+14mIoU)和城市景观(+9mIoU)语义分割挑战上，都比之前的技术水平有了显著的改进。

---

一、INTRODUCTION

STEGO利用一种新的对比损失，将预先训练过的无监督视觉特征提取为语义簇。STEGO大大改进了现有技术，是缩小与监督分割系统的差距的相当大的一步。贡献:
1.结果表明，无监督深度网络特征与真实语义标签基本一致。
2.介绍了STEGO，一种新的 transformer-based无监督语义分割架构。
3.证明了STEGO在协同(+14mIoU)和城市景观(+9mIoU)分割挑战上都取得了最先进的性能。
4.通过在协同材料数据集上的消融研究证明了STEGO的设计。

二、METHODS

1.特征对应关系预测了类的共现性CLASS CO-OCCURRENCE

2.提取特征对应关系

在本节中，我们将探讨如何利用这个信号来创建像素级嵌入，当集群化时，会产生高质量的语义分割。特别是，我们试图学习一种低维嵌入，即“提取”特征对应。为了实现这一目标，我们从CRF中获得了灵感，它使用了一个无向图形模型来细化噪声或者通过将它们与原始图像中的边缘和与颜色相关的区域对齐来进行低分辨率的类别预测。
为了建立我们的损失函数，假设f和g是一对图像x中的两个特征张量。接下来，利用方程1从f和g计算特征相关张量F，从s和t计算分割相关张量S。我们的损失函数的目的是，当在f和g的两个对应项之间存在显著的耦合时，将s和t的项推在一起。如图4所示，我们可以通过张量F和S的简单元素乘法来实现这一点：

此外，我们在平衡具有集中相关模式的小物体的学习信号时，也遇到了挑战。在这些情况下，F−b在大多数位置都是负的，并且损失导致特征发散，而不是聚合。为了使优化更加平衡，我们对特征对应关系引入了空间定心操作：

3.STEGO ARCHITECTURE

三、EXPERIMENTS

---