关于不完整多视图聚类相关知识的记录

聚类就是依据给定的相似性度量，将无标记的数据集样本划分成若干个子集或簇，使得簇内相似度和簇间相异度最大。多视图聚类的目标是利用多视图数据中的一致和互补信息对数据进行聚类并得到更好的聚类结果。如何通过分析结合不同视图的信息，减少视图样本缺失造成的影响，达到更好的学习效果就是不完整多视图聚类（Incomplete Multi-view Clustering，IMC)的目标。

以往的多视图聚类（针对单视图）

1.子空间学习：假定不同视图是由同一个潜在子空间生成的，目标就是学习这个多个视图共享的子空间或者学习各个视图到公共子空间的投影矩阵，前者称为生成模型，后者被称为投影模型；

投影：无监督，特征提取算法，CCA学习线性，KCCA处理线性不可分的问题，而后出现多视图CCA处理视图缺失的问题。引入张量来度量高阶相关性。

生成模型：矩阵分解，NMF，K均值聚类，模糊c均值聚类（FCM），PCA和谱聚类SC。加权非负矩阵分解处理数据缺失。半负矩阵分解不仅可以处理数据矩阵X有负值的情况，还与K均值聚类、模糊c均值聚类联系。（单视图）

2.基于谱学习

基于谱学习的算法是多视图聚类的另一重要分支，现有算法大致可分为两种:基于谱聚类的学习算法和基于相似图学习的相关算法。前者将单视图谱聚类扩展到多视图的情况，同时通过构建视图之间的关系提出了多视图谱聚类算法(Co-RMVC)。之后，Lu等人将文献[44]中的模型凸化并嵌入稀疏约束进而提出了PSSC, 在实验精度和效率上都有很大的提升。基于相似图学习算法的目的是去学习多视图数据之间的一致相似矩阵，进而通过在这个相似矩阵进行谱聚类就可以获得最后的聚类结果。较有影响力的文章是Nie等人提出的CLR，它通过约束一致相似矩阵的秩刚好等于类数来取得聚类效果上的突破，这一约束等价于约束相似矩阵刚好有类数个连通分支，这一约束很好的利用了类的个数已知这一重 要的先验信息。然而，相似图的学习会带来巨大的时间空间复杂度，这会对实验造成很大的困扰。

不完整多视图聚类（处理缺失）

1.数据矩阵补全：假设一个视图完整，基于视图一致性的补全，MKIK算法（填充和聚类的交替迭代来达到一个好的聚类结果，然而这样的迭代会严重影响模型的外推能力）

2.利用对齐信息：视图之间存在着样本的对齐信息，样本的缺失可以通过这种对齐信息来刻画，于是对于两个视图就可以分为对齐部分和不对齐部分分开进行学习处理。对于对齐部分，可以看成一个两个完整视图的问题，可以用已有的多视图学习算法来解决，而对于每个视图的不对齐部分，可以看作是只有一个完整视图的问题，可以通过矩阵分解、降维等来解决。基于这一思想，Li等人利用矩阵分解提出了偏多视图聚类(Partial Multi- view Clustering, PVC)[59]。此外，Qian等人[60]通过嵌入流形学习改进PVC对不完整的多视图数据进行学习聚类，但由于样本的缺失，这样的流形学习并不一定能取得较好的结果。同时，Zhao等人通过学习一个相似性矩阵来建立两个视图之间的联系，并提出了不完整的多模态视觉数据聚类算法(Incomplete Multi-modal Visual Data Grouping, IMG )[61]，取得较好的效果。PVC和IMG都只能处理两个视图的数据，对于多个不完整视图的聚类学习，Shao 等人用整体特征均值去补全每个视图中的缺失部分，再利用已有的多视图聚类算法进行求解，进而提出了MIC[62]。 进一步的，Shao 等人[63]文献[62]的基础上进行改进，使得这种算法能用于在线学习，提出了OMVC。然而我们知道每个视图中的缺失样本是随机的，很大可能属于不同的类，直接用全局特征均值去填充会导致很大的误差，因而也会影响最后的聚类效果。

---

基于NMF的多视图聚类 表示同一对象的instance属于同一cluster，因此映射实例属于映射集群。在这种情况下，映射的指示向量具有相同的维数。PVC算法区分映射实例的指示向量(映射的指示向量)和单个实例的指示向量(单个指示向量)。我们的MVP算法进一步区分映射聚类的基向量(映射基向量)和单个聚类的基向量(单个基向量)。基于NMF的MVC，旨在找到映射实例和单个实例的指标矩阵，对于矩阵来说，单独处理某件事的一种自然方式是使用矩阵划分。我们使用映射的实例和映射的集群来建立两个视图之间的关系。最小化如下目标函数：

manifold assumtion流形假设 ：作用一是将原来在欧氏空间中适用的算法加以改造，使得它工作在流形上，直接或间接地对流形的结构和性质加以利用；二是直接分析流形的结构，并试图将其映射到一个欧氏空间中，再在得到的结果上运用以前适用于欧氏空间的算法来进行学习。除了 Isomap 之外，Manifold Embedding 的算法还有很多很多，包括 Locally Linear Embedding 、Laplacian Eigenmaps 、Hessian Eigenmaps 、Local Tangent Space Alignment、Semidefinite Embedding (Maximum Variance Unfolding) 等等。

例图，将数据从高维降到低维：