论文阅读“Deep Multi-view Sparse Subspace Clustering”

Tang X, Tang X, Wang W, et al. Deep multi-view sparse subspace clustering[C]//Proceedings of the 2018 VII International Conference on Network, Communication and Computing. 2018: 115-119.

摘要导读

大多数多视图子空间聚类算法分别从每个视图中提取浅层特征来构造亲和矩阵。将多视图特征的集成放在扩展的光谱聚类算法中。由于缺乏不同视图间的深度特征提取和交互，阻碍了对多视图数据集互补信息的有效探索。为了解决这一问题，本文提出了一种新的深度多视图稀疏子空间聚类（DMVSSC）模型，该模型由卷积自动编码器（CAEs）和基于CCA的自表达模块组成。该模型不仅可以在参数较少的情况下提取每个视图数据的深度特征，而且还可以集成基于CCA的多视图特征。此外，还提出了一种两阶段的联合优化策略。在多个数据集上的实验证明了提出模型的有效性。

Multi-view clustering seeks to partition data points based on multiple representations by assuming that the same cluster structure is shared across views.

数据声明

假设给定数据集包含两个视图记为，其中是样本的数量，, , 。两个视图的数据矩阵分为记为和。

模型浅析

提出的DMVSSC模型由两个CAEs和一个基于CCA的自表达模块组成。下图展示了DMVSSC的模型结构。

这里作者特别指出DMVSSC可以很容易地扩展到更多的CAEs中，以配合获得更多的数据视图表示。

在CAE中，分别在水平和垂直方向上都使用了步幅为2的卷积核，并对其进行非线性ReLU激活。不同视图的反卷积解码器分别输出重构的多视图数据，这部分在训练DMVSSC参数的过程中发挥了正则化作用。在基于CCA的自我表达模块中，基于CCA操作，将从多视图数据中提取的深度潜在特征进行集成，然后输入到自我表达层。自表达层中的节点使用线性权重进行完全连接。

整个模型训练过程主要包含两个步骤：

• 在没有自我表达模块的情况下训练每个视图的CAE，为DMVSSC模型的参数提供合适的初始值
  具体来说，首先通过CAEs的编码器对两个视图的表示进行学习，

  本部分的优化目标为：
  
  和分别是在视图和视图CAEs的投影CCA方向的输出。和是添加到样本自协方差矩阵的对角线上的正则化参数。
  CCA是一种整合不同视图的有效方法。引入基于CCA的目标，虽然可能很难实现从另一个视图准确地重建一个视图，但足够学习第二个视图的子空间（或映射函数）。此外，每个视图中的CCA生成的维度是不相关的，因此这一项的引入提供了视图之间的互补的信息。

• 使用第一阶段初始化的参数对整个DMVSSC（基于CAEs和CCA的自我表达模块）进行微调
  

  基于第一阶段获得的参数的初始值，在第二阶段应用了通过自表达层考虑稀疏子空间表示的DMVSSC模型。对扩展目标的优化如下：
  该目标函数可以通过随机优化来进行优化。CCA最大化了某些分布的投影视图之间的互信息，而CAEs的训练是为了最小化重建误差，这就等价于可以最大化输入和学习特征之间的互信息的下界。DMVSSC目标函数提供了在每个视图中的（输入数据-隐含特征）映射中捕获的信息和跨视图的（隐含特征-隐含特征）关系中的信息之间的权衡。

整体算法如下：

里面的随机优化算法按照我以往对子空间聚类的应该使用的是交替优化的算法，具体策略烦请移步原文查看探究。