各种深度聚类方法摘要

Spectral Clustering with Graph Neural Networks for Graph Pooling
频谱聚类（SC）是一种流行的聚类技术，用于在图形上查找强连接的社区。 SC可以在图形神经网络（GNN）中使用，以实现汇总属于同一群集的节点的池化操作。但是，拉普拉斯算子的特征分解是昂贵的，并且由于聚类结果是特定于图的，因此基于SC的合并方法必须为每个新样本执行新的优化。在本文中，我们提出了一种图聚类方法来解决SC的这些局限性。我们制定了标准化minCUT问题的连续松弛，并训练了GNN以计算使该目标最小化的群集分配。我们基于GNN的实现是可区分的，不需要计算频谱分解，并且学习了可以在样本外图上快速评估的聚类函数。从提出的聚类方法出发，我们设计了一种图形池算子，该算子克服了最新的图形池技术的一些重要限制，并在多个有监督和无监督的任务中实现了最佳性能。
Optimal Sampling and Clustering in the Stochastic Block Model
本文研究结构遵循著名的随机块模型（SBM）的网络中联合自适应采样和聚类算法的设计。为了提取隐藏的集群，可以以自适应方式顺序地采样边缘（节点对）之间的交互。收集样本后，学习者返回聚类估计。我们得出了集群恢复率的信息理论上限。这些界限实际上揭示了最佳的顺序边缘采样策略，有趣的是，后者不取决于采样预算，而仅取决于SBM的参数。我们设计了一种与恢复率上限匹配的联合采样和聚类算法。该算法最初使用一部分采样预算来估算SBM参数，并学习最佳采样策略。然后，该策略将指导剩余的采样过程，从而赋予算法最佳的性能。我们在分析和数值上都表明，自适应边缘采样比随机采样（传统上在SBM分析中使用）产生了重要的改进。例如，我们证明了自适应采样显着扩大了SBM参数的区域，其中渐近精确的群集恢复是可行的。
Selective Sampling-based Scalable Sparse Subspace Clustering
稀疏子空间聚类（SSC）将每个数据点表示为数据集中其他数据点的稀疏线性组合。在表示学习步骤中，SSC查找数据点的低维表示，而在频谱聚类步骤中，数据点根据基础子空间聚类。但是，这两个步骤都具有很高的计算和内存复杂性，从而阻止了将SSC应用于大规模数据集。为克服此限制，我们引入了基于选择性采样的可伸缩稀疏子空间聚类（S5C）算法，该算法基于近似子梯度选择子样本，并根据时间和内存要求随数据点的数量线性缩放。除了计算优势外，我们还为S5C的正确性提供了理论保证。我们的理论结果在子样本数量有限的情况下为SSC做出了新的贡献。大量的实验结果证明了我们方法的有效性。
Self-labelling via simultaneous clustering and representation learning
将聚类和表示学习相结合是深度神经网络无监督学习的最有前途的方法之一。但是，这样做会导致退化的解决方案带来不适的学习问题。通过最大化标签和输入数据索引之间的信息来获得该方法。所得到的方法能够对视觉数据进行自我标注，从而无需手动标注就可以训练竞争激烈的图像表示形式。 我们的方法在SVHN，CIFAR-10，CIFAR-100和ImageNet上实现了AlexNet和ResNet-50的最先进的表示学习性能，并产生了第一个自我监督的AlexNet，其性能优于监督的Pascal VOC检测基准。
Deep clustering: On the link between discriminative models and K-means
在最近的深入聚类研究的背景下，判别模型在文献中占主导地位，并报告了最具竞争力的表现。这些模型学习了深度的区分神经网络分类器，其中的标签是潜在的。通常，他们使用多项式逻辑回归后验和参数正则化，这在监督学习中非常普遍。通常认为，区别性目标函数（例如，基于互信息或KL差异的目标性函数）比生成性方法（例如，K均值）更灵活，因为它们对数据分布的假设较少，通常产生更好的无监督深度学习结果。从表面上看，最近的几种判别模型似乎与K均值无关。这项研究表明，这些模型实际上等同于轻度条件下的K均值，以及常见的后验模型和参数正则化。我们证明，对于常用的逻辑回归后验，通过近似交替方向法（ADM）最大化L2正则化互信息等效于软正则化K均值损失。我们的理论分析不仅直接将几个最新的判别模型与K-means直接连接，而且导致了一种新的，经过软化和规范化的深度K-means算法，该算法在多个图像聚类基准上均具有竞争优势。
Image Clustering via Deep Embedded Dimensionality Reduction and Probability-Based Triplet Loss
图像聚类比图像分类更具挑战性。没有监督信息，当前的深度学习方法很难直接应用于图像聚类问题。图像聚类需要解决三个主要问题：1）高维图像数据引起的维数诅咒； 2）提取有效图像特征； 3）结合特征提取，降维和聚类。在本文中，我们通过基于概率的三重态损失提出了一种新的聚类框架，称为深度嵌入式降维聚类（DERC），可以有效解决上述问题。据我们所知，DERC是第一个将图像嵌入，降维和聚类有效地结合到图像聚类过程中的框架。我们还建议合并一种新颖的基于概率的三重态损失度量，以将DERC网络作为一个统一框架进行重新训练。通过整合重建损失和基于概率的三重态损失，我们可以提高图像聚类的准确性。大量实验表明，我们提出的方法在许多常用数据集上的性能优于最新方法。
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
我们研究了变分自动编码器的一种变体，其中在潜在特征的顶部存在离散潜在变量的超结构。 通常，我们的上层结构是具有多个超潜在变量的树形结构，可以从数据中自动学习。 当上层建筑中只有一个潜在变量时，我们的模型将简化为一个假设隐变量是由高斯混合模型生成的变量。 我们称我们的模型为潜在树变异自动编码器（LTVAE）。 以前的用于群集的深度学习方法仅生成一个数据分区，而LTVAE生成多个数据分区，每个分区均由一个超潜变量给出。 这是理想的，因为高维数据通常具有许多不同的自然面，并且可以多种方式进行有意义的分区。
Deep Embedded Clustering with Data Augmentation
深度嵌入式群集（DEC）通过共同执行特征学习和群集分配，超越了传统的群集算法。尽管出现了许多变体，但它们都忽略了关键要素，即数据增强，它已在有监督的深度学习模型中广泛采用以提高泛化性。为了填补这一空白，本文提出了具有数据增强功能的深度嵌入式群集框架（DEC-DA）。具体来说，我们首先用增强的数据训练自动编码器以构造初始特征空间。然后，我们用聚类损失约束嵌入的特征，以进一步学习面向聚类的特征。聚类损失由目标（伪标签）和特征学习模型的实际输出组成，其中目标是使用干净的（非增量）数据计算的，而目标是通过增强数据输出的。这类似于通过数据增强进行有监督的训练，并且有望促进无监督的聚类。最后，我们实例化了五种基于DEC-DA的算法。大量的实验证明，合并数据扩充可以极大地改善群集性能。我们的DEC-DA算法成为各种数据集上的最新技术。
Adaptive Self-paced Deep Clustering with Data Augmentation
深度聚类通过共同执行特征学习和聚类分配，可获得比常规聚类更高的性能。尽管在各种应用程序中涌现了许多深度群集算法，但大多数算法无法学习强大的面向群集的功能，从而损害了最终的群集性能。为了解决这个问题，我们提出了一种两阶段的深度聚类算法，它结合了数据增强和自定进度的学习。具体来说，在第一阶段，我们通过训练自动编码器来学习鲁棒的功能，并通过随机移位和旋转给定的干净示例来增强示例。然后在第二阶段，我们通过使用增强后的示例对编码器进行微调和更新干净示例的群集分配，来鼓励学习的功能面向群集。在对编码器进行微调期间，损失函数中每个扩展示例的目标都是分配了干净示例的群集的中心。目标的计算可能不正确，具有错误目标的示例可能会误导编码器网络。为了稳定网络训练，我们通过利用自适应自定步学习在每次迭代中选择最有信心的示例。大量实验证明，我们的算法在四个图像数据集上的表现均优于最新技术。
Structural Deep Clustering Network
聚类是数据分析中的一项基本任务。最近，深度聚类主要从深度学习方法中获得灵感，它实现了最先进的性能，并引起了广泛的关注。当前的深度聚类方法通常借助于诸如自动编码器之类的深度学习的强大表示能力来增强聚类结果，这表明学习用于聚类的有效表示是至关重要的要求。深度聚类方法的优势在于从数据本身中提取有用的表示形式，而不是从数据结构中提取有用的表示形式，而数据结构在表示学习中很少受到关注。基于图卷积网络（GCN）在编码图结构方面取得的巨大成功，我们提出了一种结构化深度聚类网络（SDCN），以将结构信息集成到深度聚类中。具体来说，我们设计了一个传递运算符，将自动编码器学习到的表示传递到相应的GCN层，并采用双重自我监督机制来统一这两种不同的深度神经体系结构，并指导整个模型的更新。这样，从低阶到高阶的多种数据结构自然会与自动编码器学习的多种表示形式结合在一起。此外，我们从理论上分析了传递算子，即通过传递算子，GCN作为高阶图正则化约束改善了特定于自动编码器的表示，并且自动编码器有助于缓解GCN中的过度平滑问题。通过全面的实验，我们证明了我们提出的模型可以始终如一地胜过最新技术。
Learning to Cluster Faces on an Affinity Graph
近年来，人脸识别技术取得了长足发展，其性能达到了很高的水平。将其提升到一个新的水平需要相当大的数据，这将涉及极高的注释成本。因此，利用未标记的数据成为一种有吸引力的选择。最近的工作表明，将未标记的面孔聚类是一种有前途的方法，通常可以显着提高性能。然而，如何有效地聚类，尤其是在大规模（即百万级或以上）数据集上，仍然是一个悬而未决的问题。关键挑战在于群集模式的复杂变化，这使常规的群集方法难以满足所需的精度。这项工作探索了一种新颖的方法，即学习聚类而不是依靠手工制定的标准。
具体来说，我们提出了一种基于图卷积网络的框架，该框架结合了检测和分割模块来精确定位人脸聚类。实验表明，我们的方法产生的人脸簇更加准确，因此，也可以进一步提高人脸识别的性能。
Video Face Clustering with Unknown Number of Clusters
要了解电视剧和电影等视频，需要分析角色是谁以及他们在做什么。 我们解决了根据脸部身份将脸部轨迹聚类的挑战性问题。 与该领域以前的工作不同，我们选择在一个现实而困难的环境中进行操作：（i）先验字符数未知； （ii）属于次要或背景角色的面部轨迹不会被丢弃。 为此，我们提出了球聚类学习（BCL），一种有监督的方法，可以将嵌入空间雕刻成大小相等的球，每个聚类一个。 学习的球半径可以轻松转换为迭代合并算法的停止标准。 这使BCL能够估计群集的数量及其分配，从而在常用数据集上获得可喜的结果。 我们还对如何将现有的度量学习文献进行调整进行了全面的讨论。
Deep Comprehensive Correlation Mining for Image Clustering
最近开发的深度无监督方法使我们可以共同学习表示形式和聚类未标记的数据。
这些深度聚类方法主要关注样本之间的相关性，例如选择高精度对以逐渐调整特征表示，而忽略了其他有用的相关性。在本文中，我们提出了一个新颖的聚类框架，称为深度综合相关挖掘（DCCM），用于探索和充分利用未标记背后的各种相关性。
数据来自三个方面：1）不仅使用成对信息，还建议使用伪标签监督来研究类别信息和学习区分特征。 2）充分研究了功能对输入空间图像变换的鲁棒性，这有益于网络学习并显着提高了性能。
3）针对聚类问题，提出了要素之间的三元组互信息，以将最近发现的实例级深层互信息提升为三元组级形式，这进一步有助于学习更多判别性特征。在几个具有挑战性的数据集上的大量实验表明，我们的方法取得了良好的性能。
Deep Spectral Clustering using Dual Autoencoder Network
最近，聚类方法在学习和视觉方面吸引了越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得用于聚类的最佳嵌入子空间，与常规聚类方法相比，该方法更有效。在本文中，我们提出了一个用于判别嵌入和频谱聚类的联合学习框架。我们首先设计一个双重自动编码器网络，该网络对潜在表示及其嘈杂的版本实施重构约束，以将输入嵌入到潜在空间中进行聚类。这样，所学习的潜在表示可以对噪声更鲁棒。然后，利用相互信息估计从输入中提供更多的判别信息。此外，采用深谱聚类方法将潜在表示嵌入特征空间，然后对其进行聚类，可以充分利用输入之间的关系以获得最佳聚类结果。在基准数据集上的实验结果表明，我们的方法可以大大优于最新的聚类方法。
Learning to Discover Novel Visual Categories via Deep Transfer Clustering
我们考虑在图像集合中发现新颖对象类别的问题。 尽管这些图像未标记，但我们还假设具有相关但不同图像类别的先验知识。 我们使用这些先验知识来减少聚类的歧义，并提高新发现的类的质量。 我们的贡献是双重的。 第一项贡献是将深度嵌入式群集扩展到转移学习设置； 我们还通过引入表示瓶颈，时间集合和一致性来改进算法。 第二个贡献是一种估计未标记数据中的类数的方法。 这也从已知的类中转移知识，将它们用作探查，以诊断未标记类的数量选择子集。 我们彻底评估了我们的方法，在包括ImageNet，OmniGlot，CIFAR100，CIFAR-10和SVHN在内的许多基准测试中，它们的性能明显优于最新技术。
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
生成对抗网络（GANs）在许多无监督学习任务中都取得了显著成功，毫无疑问，聚类是重要的无监督学习问题。虽然可以潜在地利用GAN中的潜在空间反投影进行聚类，但我们证明聚类结构并未保留在GAN潜在空间中。在本文中，我们提出ClusterGAN作为一种使用GAN进行聚类的新机制。通过从单热点编码变量和连续潜变量的混合中采样潜变量，再加上结合聚类特定损失而训练的逆网络（将数据投射到潜空间），我们能够在潜集中实现聚类。空间。我们的结果表明，即使鉴别器从未暴露于此类向量中，GAN仍可以保留跨类别的潜在空间插值，这是一个了不起的现象。我们将我们的结果与各种聚类基线进行比较，并在合成数据集和真实数据集上展示了出色的性能。