论文阅读“Multi-View Clustering via Deep Matrix Factorization”

MVC is intensively studied recently by leveraging the heterogeneous data to achieve the same goal.
多视图的本质就是使用异构的数据来实现共同的目标。不同的特征表示来自数据集的不同信息。
MVC aims to integrate multiple feature sets together, and uncover the consistent latent information from different views.

---

摘要阅读：
由于许多实际数据由不同的表示形式或视图组成，因此多视图聚类（MVC）最近引起了更多关注。关键是要探索补充信息以使聚类问题受益。在本文中，我们提出了一个用于MVC的深度矩阵分解框架，该框架采用半负矩阵分解以分层方式学习多视图数据的层次语义。为了最大化每个视图的互信息，我们将最后一层中的每个视图的非负表示形式强制为相同。此外，为了尊重每个视图数据中的固有几何结构，引入了图正则化以耦合深层结构的输出表示。作为一项重要的贡献，我们提供了基于交替最小化策略（alternating minimization strategy）的解决方案，然后提供了收敛的理论证明。在三个面部基准上的出色实验结果表明了所提出的深度矩阵分解模型的有效性。

模型图展示

Framework.png

注解：相同的形状表示相同的类别。出于演示目的，这里仅显示两个视图的情况，其中提出了两个深度矩阵分解结构以分层方式捕获每个视图后面的丰富信息。通过深层次的结构，来自同一类别但不同视图的样本彼此靠近收集以产生更具区分性的表示。
因此论文通过图正则化半负矩阵分解提出了一种深度MVC算法。
关键是通过半负矩阵分解来构建深层结构，以寻求具有更一致知识的公共特征表示，以促进聚类。
因此对应的关键的贡献也分为两个部分：

• Deep Semi-NMF结构的构建是通过利用Semi-NMF强大的可解释性以及从深度结构进行有效特征学习的优势来捕获隐藏信息。通过这种深层矩阵分解结构，我们可以逐层分解不重要的因素，并在MVC的最后一层中生成有效的共识表示。
• 为了尊重数据样本之间的内在几何关系，我们引入了图正则化器来指导每个视图中的共享表示学习。这种做法可以使最后一层的共识表示保留跨多个图的大多数共享结构。可以将其视为提高最终MVC性能的融合方案。

方法解析
关于模型的构建，论文也明确对应了贡献点的两个部分，首先是基于semi-NMF可解释性的深度结构进行特征表示学习的过程，对应于公式中的第一部分，对于每个视图的分解从layer-1到layer-m，并设置H_m为所有视图的共享潜在表示。对于每个视图的也会分配一个视图权重，并且添加了参数gama来控制权重分布，这些参数都是可更新的。

remark 1- 由于多视图数据的同源性，第v个视图数据的最终层表示H（v）m应该彼此接近。在这里，我们使用共识Hm作为约束，在多层分解后强制多视图数据共享相同的表示。

proposed method.png

目标函数的第二部分是关于图正则化的约束部分，L^(v)是视图v的图拉普拉斯表示，其中每个图都以k最近邻（k-NN）的方式构造。其计算方式为：

L^(v).png

remark 2- 构造了多个图以约束公共表示学习，以便可以很好地保留每个视图中的几何结构以进行最终聚类。此外，基于k-NN的图形术语可以融合来自多个视图的几何知识，以使通用表示更加一致。

关于更新

param update.png

模型感悟
模型本身紧紧围绕着论文的两个贡献点进行目标函数的构造：首先是深度矩阵分解学习不同层的表示及对噪声的分解，其次是利用基于k-NN的图约束矩阵融合多个视图的本地结构。从思想上很简单，但是在优化的过程中可能需要一些技巧，这种基于公式化的目标函数使我们学习的方向。认识到在当前数据中，更多模型开始利用到近邻信息来丰富潜在特征表示，使得其更具有可解释性。