论文阅读“Multi-level Feature Learning for Contrastive Multi-view Clustering”

Xu J, Tang H, Ren Y, et al. Multi-Level Feature Learning for Contrastive Multi-View Clustering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 16051-16060.

摘要梳理

（1）多视图聚类用于挖掘多个视图时间的共同语义，已经获得了广泛的关注。
（2）现有的方法在同一个特征空间中优化多个目标，忽略了学习一致性通用语义和构建不一致的视图特有信息之间的冲突。
（3）因此，本文提出multi-level feature learning framework用于contrastive multi-view clustering 。
（4）提出的方法在不融合的前提下从原始特征中学习low-level, high-level以及semantic labels/features，因此可以实现在不同的特征空间中优化重构目标和一致性目标。
（5）具体来说，重构损失是以low-level特征构建的，两个一致性目标则对应于high-level和semantic labels/features，分别用于探索通用的语义信息和实现多视图聚类。提出的方法可以减少视图特有特征的不利影响。

贡献点

• 在不同的特征空间优化不同的目标，解决了重构和一致性目标之间的冲突
  这样可以有效的学习通用的语义同时避免无意义的视图特有信息的影响
• 使用灵活的多视图对比框架同时实现了high-level features and the semantic labels的一致性学习

模型浅析

原始特征：多视图数据集表示包含在个视图上的个样本，其中，表示-th视图的数据维度为。

整体框架图：

• high-level features
  由重构损失优化所得到的表示因为混合了通用语义和视图特有的信息，因此这部分被称为 low-level features 。在此基础上，本文堆叠了一个MLP来学习 high-level features ，用于在所有视图中学习通用的语义。这一部分主要利用视图间同一样本的对比来学习各视图一致通用的语义表示信息，具体做法如下：
  最终所期望的结果是 high-level features所对应的类簇更加接近于真是的语义类簇。
• semantic labels
  同理，使用一个堆叠的共享MLP学习，最后一层使用softmax激活以获得样本在每个类簇的软分配概率，即为-th的样本在第个视图中属于类簇-th的概率。为了聚类性能的鲁棒性，需要实现聚类表示的一致性，这部分还是利用对比学习约束标签软分配之间的一致：
  第一项与high-level features的优化目标相同，第二项则是一个正则项用于避免所有的样本都被划分到同一类簇中。
• overall
  总体来说，三个部分构造了不一样的特征空间用于各自语义的优化，可以表示为如下：
  其中，AE的Encoder部分的参数是由三部分共同优化的，同时各自也还有其他需要学习的参数。
• Semantic Clustering with High-level Features
  到此为止，High-level Features和label Semantic 的学习是相互独立的，因此以为锚点，利用高阶语义信息提升聚类的性能。
  （1）对使用K-means进行聚类，得到关于K个类簇中心的表示：
  每个样本的类簇分配表示为：
  
  （2）将label MLP的输出同样记录为，其中。若和表示的类簇不能对应，则没有任何价值。由于semantic label之前是做过一致性对比学习的，因此和代表同样的类簇。
  （3）基于semantic label的前提，本文以为锚点来修正，即最大化如下的匹配：
  其中，是一个代价矩阵，，中的每个元素，即数据集中所有样本中在label MLP中被分配到-th类簇，同时high-level features在K-means聚类中被分配到-th的样本数量之和。是个指示函数，[]内条件成立则值为1。
  被修正的-th样本的类簇分配是一个K维的one-hot向量。其中中为1的元素满足：即在矩阵中第行列的元素等于1，且在high-level features在K-means聚类中该样本被分配到-th类簇中。
  （4）基于修正的和label MLP的输出，使用如下的交叉熵对模型进行微调：
  这样学习到的语义被用于提升聚类。
  （5）其最终的分配结果表示为：
  还是由来主导，（4）中的操作仅是为了模型的微调。

---

因为最后的模型是在label MLP的输出上进行聚类的最终分配。
在消融实验中，Contrastive learning structures包含了框架中涉及到对比学习的损失和（因为代表的聚类分配，因此在每轮的对比中都含有），而是否使用进行视图特征重构也成为了模型的一个对比点。