[PED05]Incomplete Multi-view Clustering via Subspace Learning

Incomplete Multi-view Clustering via Subspace Learning

---

Publication：CIKM 2015
Author：Qiyue Yin, Shu Wu, Liang Wang（ Chinese Academy of Sciences, Beijing）

缺失多视图论文汇总：https://github.com/Jeaninezpp/Incomplete-multi-view-clustering

一句话概括

利用投影矩阵将经过选择后的数据投影到潜在空间，并保存了视图内和视图间的相似性。

摘要：

learn unified latent representations and projection matrices for the incomplete multi-view data
要求latent representation非负，并且是列正交。
要求projection matrices稀疏

关键词： Multi-view clustering; Incomplete multi-view data; Feature selection; Subspace learning; Graph regularization

Introduction & Relative work：

文章将多视图聚类（multi-view clustering）分为四类：

• subspace based methods
• co-training based methods
• late fusion
• similarity fusion
  这些方法中每个视图的数据都是完整的，但是在现实应用中，总会出现一些视图缺失部分信息的情况。对于缺失的多视图聚类算法可以分为两类：
• filling missing information
  • complete the kernel matrices of the incomplete views（仅适用于kernel-based的多视图聚类算法）
• 基于NMF的方法(PVC)，用NMF学到一个letent representations.但是不能处理特征表示为负数的数据。
  列举的论文：
• [23] Multiview clustering with incomplete views. NIPS 2010
  • 适用于至少有一个视图是完整的情况，用完整视图的相似度矩阵去填充缺失视图的核矩阵。
• [24] Clustering on multiple incomplete datasets via collective kernel learning. ICDM 2013
  • 扩展了[23]，适用于所有视图都有缺失的情况。通过优化对齐，对所有核矩阵进行共同填充。[23][24]都是基于核矩阵的填充，只适用于多核聚类的缺失情况。
• [34] Partial multi-view clustering. AAAI 2014
  • 指出上述两种方法不好，提出了PVC，用非负矩阵分解得到subspace。但是不适用于特征有负数的情况。
    因此本文提出了一种联合 特征选择 和 子空间学习 的方法。如下图所示：
    
    在这里插入图片描述

首先，利用回归型目标函数学到a subspace
不同视图的潜在表示（latent representation）应该是相同的
在latent space的学习前，执行特征选择，因为视图的特征可能是高维、有噪声的。
最后用graph regularization来进一步探索视图间和视图内的数据点的关系。

贡献：

1. 将feature selection , subspace learning, similarity preserving整合在一个统一的目标函数中。
2. 交替优化算法，收敛
3. 实验结果好

Method：

在这里插入图片描述

定义：将数据分为三部分：在所有视图中都完整的样本，只在视图1中完整的样本和只在视图2中完整的样本。

• 通过投影矩阵得到聚类指示矩阵。

  
  
  在这里插入图片描述
  
  
  F为学到的潜在表示，也就是所谓的聚类指示矩阵。
  在这里插入图片描述
• 保存视图内部相似性以及视图之间的相似性

  • intra-view
    

    为K近邻则保存其相似度。
    在这里插入图片描述
  • inter-view
    
    在这里插入图片描述
    
    所以整个的相似度矩阵为：
    
    在这里插入图片描述
    
    那么对投影矩阵的正则化：
    （若i和j相差大，就给他一个比较小的权重（相似度），反之大权重）
    在这里插入图片描述
    
    就可以写为（6）式：
    其中是W的拉普拉斯矩阵
    在这里插入图片描述
    
    这样就得到了整体的优化目标：
    
    在这里插入图片描述
    
    目标函数有三项：
    1.使用投影矩阵将不完整视图投影到潜在空间F中
    
    在这里插入图片描述
    
    2.特征选择
    
    在这里插入图片描述
    
    3.视图间和视图内相似度保存
    
    在这里插入图片描述

最后对得到的F进行K-means得到最终的聚类结果。

思考

• 只适用于2个视图的情况