论文阅读“Deep Adversarial Multi-view Clustering Network”

Li Z, Wang Q, Tao Z, et al. Deep Adversarial Multi-view Clustering Network[C] //IJCAI. 2019: 2952-2958.

摘要导读

近年来，利用跨视图公共聚类结构的多视图聚类受到越来越多的关注。现有的多视图聚类算法使用浅层或线性嵌入函数来学习多视图数据的通用结构。这些方法不能充分利用多视图数据的非线性特性，然而对揭示复杂的类簇结构来说是非常重要的。本文提出了一种新的多视图聚类方法，即深度对抗多视图聚类(DAMC)网络，以学习嵌入在多视图数据中的内在结构。具体来说，提出的模型采用了深度自动编码器来学习多个视图共享的潜在表示，同时利用对抗训练来进一步捕获数据分布和分解潜在的空间。

• 该方法可以完全建模任意视图之间的多层非线性相关性。
• 为每个视图设计了一个鉴别器网络，其对应的对抗损失作为一个正则化器来指导编码器的训练，来捕获每个单一视图的数据分布，并进一步分解公共潜在空间。

模型浅析

对于给定包含 个视图的多视图数据 ，其中 ，表示来自 视图的 个样本，其数据维度为 。该模型包含（1）多视图去噪编码器 ，（2）多视图去噪生成器 ，（3） 个判别器 以及一个（4）深度嵌入聚类层。

• Multi-view denoising Encoder
  在多视图去噪编码器网络中，对于每个视图，都有层独立的全连接网络和具有共享参数的层全连接网络。独立层用于处理每个视图的不同特征维度。给定视图的数据
  编码器输出对应潜在变量
  即通过映射函数
  将原始的数据转换到低维特征空间。其中是编码器部分的参数。
• Multi-view denoising generator
  多视图去噪生成器网络与多视图去噪编码器具有相反的架构。它由具有相同参数的层全连接网络和每个视图的层独立的全连接网络组成，可以由对应于每个视图的潜在表示生成所有的重建样本 。给定视图的潜在表示，可以得到任意视图的重构表示：
• Discriminator network
  该鉴别器网络由个全连接层鉴别器组成。每个应该区分是一个生成的样本，而是真实样本。将结果反馈给生成网络，并更新对应的参数。通过这种方法，鉴别器作为一个正则化器来指导多视图编码器网络的训练，从而增强了嵌入表示的鲁棒性，有效避免了过拟合问题。
• Deep embedding clustering layer
  为了寻找一个聚类友好的潜在空间，该网络还嵌入了一个独特的聚类层。这里还是使用的是DEC的思想，利用当前数据分布和目标数据分布的KL散度，迭代更新多视图去噪编码器网络和多视图去噪生成器网络的参数。
• Loss function
  根据前面描述的网络结构，损失函数主要包含三个部分：
  其中编码器和生成器共同构造，生成器和辨别器构造，则是基于通用表示来构造。
  （1）AE Loss：这部分与常规对应视图生成的AE不同，因为在前面提到每个视图的都可以被用于生成所有的个视图。因此，生成器网络可以输出个视图表示。基于此设定可以得到AE的损失为：
  最小化生成损失来优化多视图去噪自编码器。然而，仅使用均方误差可能导致重建结果模糊，不能对每个数据分布进行建模 。为了缓解这一问题，模型采用对抗训练来生成（恢复）更真实的结果，并进一步增强模型的泛化能力。
  （2）The Loss for Generative Adversarial Networks：个数据的真实分布为
  其对应的生成分布为
  因此，对抗训练（最小-最大的优化问题，直到收敛）的目的是对二者进行区分，损失函数形式化为：
  （3）Clustering Loss：这里主要是将多个视图的特有表示转换为一个公共的视图表示：
  然后利用DEC2016的思想对网络参数进行优化，这里将不进行赘述。这里需要强调的是，在DEC中，使用的是KL最后收敛的分布作为聚类结果。而在本文提出的模型中，在训练完成后，是利用得到的公共表示进行谱聚类，得到最终的聚类结果。

实验结果

提出的模型在三个多视图数据集上进行了实验，从结果上看在第二个数据集上达到了超过个百分点的提升。这也提示我们在以后的实验中，模型的性能需要在1-2个数据集上取得较大提升，其余数据集可以只作为辅助。

---

该论文与在不完整聚类上的论文的思路很像，也都是中了IJCAI2019。也是在一致性学习上除了对比学习之外的另一种技术。