[PED05]Incomplete Multi-view Clustering via Subspace Learning

Incomplete Multi-view Clustering via Subspace Learning


Publication:CIKM 2015
Author:Qiyue Yin, Shu Wu, Liang Wang( Chinese Academy of Sciences, Beijing)

缺失多视图论文汇总:https://github.com/Jeaninezpp/Incomplete-multi-view-clustering

一句话概括

利用投影矩阵将经过选择后的数据投影到潜在空间,并保存了视图内和视图间的相似性。

摘要:

learn unified latent representations and projection matrices for the incomplete multi-view data
要求latent representation非负,并且是列正交。
要求projection matrices稀疏

关键词: Multi-view clustering; Incomplete multi-view data; Feature selection; Subspace learning; Graph regularization

Introduction & Relative work:

文章将多视图聚类(multi-view clustering)分为四类:

  • subspace based methods
  • co-training based methods
  • late fusion
  • similarity fusion
    这些方法中每个视图的数据都是完整的,但是在现实应用中,总会出现一些视图缺失部分信息的情况。对于缺失的多视图聚类算法可以分为两类:
  • filling missing information
    • complete the kernel matrices of the incomplete views(仅适用于kernel-based的多视图聚类算法)
  • 基于NMF的方法(PVC),用NMF学到一个letent representations.但是不能处理特征表示为负数的数据。
    列举的论文:
  • [23] Multiview clustering with incomplete views. NIPS 2010
    • 适用于至少有一个视图是完整的情况,用完整视图的相似度矩阵去填充缺失视图的核矩阵。
  • [24] Clustering on multiple incomplete datasets via collective kernel learning. ICDM 2013
    • 扩展了[23],适用于所有视图都有缺失的情况。通过优化对齐,对所有核矩阵进行共同填充。[23][24]都是基于核矩阵的填充,只适用于多核聚类的缺失情况。
  • [34] Partial multi-view clustering. AAAI 2014
    • 指出上述两种方法不好,提出了PVC,用非负矩阵分解得到subspace。但是不适用于特征有负数的情况。
      因此本文提出了一种联合 特征选择子空间学习 的方法。如下图所示:
      在这里插入图片描述

首先,利用回归型目标函数学到a subspace
不同视图的潜在表示(latent representation)应该是相同的
在latent space的学习前,执行特征选择,因为视图的特征可能是高维、有噪声的。
最后用graph regularization来进一步探索视图间和视图内的数据点的关系。

贡献:

  1. 将feature selection , subspace learning, similarity preserving整合在一个统一的目标函数中。
  2. 交替优化算法,收敛
  3. 实验结果好

Method:

在这里插入图片描述

定义:将数据分为三部分:在所有视图中都完整的样本,只在视图1中完整的样本和只在视图2中完整的样本。

  • 通过投影矩阵得到聚类指示矩阵。


    在这里插入图片描述

    F为学到的潜在表示,也就是所谓的聚类指示矩阵。
    在这里插入图片描述
  • 保存视图内部相似性以及视图之间的相似性
    • intra-view

      为K近邻则保存其相似度。
      在这里插入图片描述
    • inter-view
      在这里插入图片描述

      所以整个的相似度矩阵为:
      在这里插入图片描述

      那么对投影矩阵的正则化:
      (若i和j相差大,就给他一个比较小的权重(相似度),反之大权重)
      在这里插入图片描述

      就可以写为(6)式:
      其中是W的拉普拉斯矩阵
      在这里插入图片描述

      这样就得到了整体的优化目标:
      在这里插入图片描述

      目标函数有三项:
      1.使用投影矩阵将不完整视图投影到潜在空间F中
      在这里插入图片描述

      2.特征选择
      在这里插入图片描述

      3.视图间和视图内相似度保存
      在这里插入图片描述

最后对得到的F进行K-means得到最终的聚类结果。

思考

  • 只适用于2个视图的情况

你可能感兴趣的:([PED05]Incomplete Multi-view Clustering via Subspace Learning)