论文阅读“Supporting Clustering with Contrastive Learning”

Zhang D, Nan F, Wei X, et al. Supporting Clustering with Contrastive Learning[J]. arXiv preprint arXiv:2103.12953, 2021.

摘要翻译

无监督聚类的目的是根据在表示空间中测量的距离来发现数据的语义类簇。然而，在学习过程的开始，不同的类簇通常在表示空间中相互重叠，这给基于距离的聚类（实现了不同类别之间的良好分离）带来了重大的挑战。基于此，我们提出了“ Supporting Clustering with Contrastive Learning (SCCL) ”– 一个新的框架来利用对比学习来促进更好的分离。模型在短文本聚类上进行性能评估，并表明SCCL在大多数基准数据集上显著提高了最先进的结果，准确率提高了3%-11%和标准化互信息方面改善了4%-15%。此外，我们的定量分析证明了，当使用ground truth 聚类标签进行评估时，SCCL 在利用自下而上的实例区分和自上而下的聚类优势来实现更好的类簇内和类簇间距离方面的有效性。

bottom-up instance discrimination - 自上而下的实例区分
top-down clustering - 自上而下的聚类
intra-cluster and inter-cluster distances - 类簇内和类簇间距离

Instance-CL通常对通过数据增强获得的辅助集进行优化。顾名思义，然后采用对比损失将原始数据集中相同实例增强的样本集合在一起，同时将不同实例的样本分开。。

模型理解

论文的目的是充分利用Instance-CL有益属性构建一个联合框架来提升无监督聚类。SCCL框架如下：

模型框架图

如图所示，SCCL主要分为三部分组成。神经网络首先将输入数据映射到表示空间（特征生成器），然后是两个不同的头和，分别应用对比损失和聚类损失。
因为涉及到Instance-CL，论文的数据也包含原始数据和增强数据。具体地说，对于随机采样的minibatch ，我们为中的每个数据实例随机生成一对增强数据，
产生一个大小为的增强batch表示为。

part 1: Instance-wise Contrastive Learning

对于每个minibatch，Instance-CL损失定义在的增广对上。设表示增强集中任意实例的索引, 是中另一个实例的索引，它是从原始集中的同一个实例增广的对应索引。我们将作为正例对，而将中的其他个实例作为关于这对正例对的负实例。
是对应g头的输出，如.
然后对于，我们试图通过最小化以下内容来将与中的所有负实例分开:

公式(1)

这就是常用的CL Loss-infoNCE. 其中是一个指示函数，表示我们设置为0.5的温度参数。sim(·)的选取如下：

sim函数

据实验经验，标准化后的相似性计算对下游任务更加友好。
当前minibatch中的instance-CL损失是中所有实例的平均值

公式(2)

part 2: Clustering

我们同时通过无监督聚类将语义类别结构编码到表示中。与instance-CL不同，聚类集中于高级语义概念，并试图将来自同一语义类别的实例聚集在一起。假设数据由个语义类别组成，每个类别都是由它在表示空间中的质心为特征的，表示为。设表示原始集中实例的表示。并使用如下公式来计算当前样本分配到类簇集合的概率：

公式(3)

如DEC (2016)中，使用一个线性层，即聚类头，来近似每个类簇的中心，并利用辅助分布对其进行迭代细化。

公式(4)

通过优化集群之间的KL散度，将簇分配概率推向目标分布:

公式(5)

因此整体的聚类损失表示为：

公式(6)

part 3: Overall objective

image.png

用于平衡SCCL的 contrastive loss 和 clustering loss.

未完