论文阅读“Deep Embedded Multi-view Clustering with Collaborative Training”

引用格式：Xu J, Ren Y, Li G, et al. Deep Embedded Multi-view Clustering with Collaborative Training[J]. arXiv preprint arXiv:2007.13067, 2020.

摘要翻译

通过利用来自多视图的信息，多视图聚类最近引起了越来越多的关注。但是，现有的多视图聚类方法要么具有较高的计算和空间复杂性，要​​么缺乏表示能力。为了解决这些问题，我们在本文中提出了带有协作训练（DEMVC）的深度嵌入式多视图聚类。首先，深度自动编码器分别学习多个视图的嵌入表示。然后，考虑了多方意见的共识和互补，提出了一种新颖的协作训练方案。具体来说，所有视图的特征表示和聚类分配都是通过协作学习的。进一步开发了用于聚类中心初始化的新一致性策略，以通过协作训练来改善多视图聚类性能。在多个流行的多视图数据集上的实验结果表明，DEMVC与最新方法相比有了显着改进。

论文的关注点在于：使用协同训练机制来对不同视图的表示和聚类分配进行协作学习（轮流使用不同视图的信息）。

模型描述

DEMVC包含个encoders和其对应的个decoders（这里构成了深度自编码器对多个视图的嵌入表示），除此之外，还有对应个视图的个聚类层。简单图示如下：

The framework of DEMVC.png

对于多视图信息的引用则是在不同轮迭代中选取参照视图。上图显示第一视图作为参考视图，如实线所示。 虚线表示相应的不参与本轮计算。 引用的参照视图将依次更改以便学习不同视图中的补充信息。

方法解析

多视图协同训练

数据集的定义：代表当前视图的维度为，并且在此数据集中含有个 样本。为该数据集的视图个数，表示每个对象有个子样本需要聚类。对于每个视图，定义和分别为编码器和解码器。和为可训练的参数。
因此网络模型的编码部分可以形式化为如下的内容：

autoencoder.png

在loss函数的定义上，为每个视图 构建了重构loss和聚类loss。并且设置了平衡参数 （这里借鉴的是IDEC对DEC的改进，使得在聚类的过程中也融入了重建损失）。

total loss.png

reconstruction loss for view-v.png

聚类损失还是使用了DEC中提出的Kullback-Leibler (KL) divergence，定义如下：

clustering loss for view-v.png

这里明晰一下clustering loss的由来和组成（主要是提醒自己）：
在这个式子中，主要有两个带下标的分布，即和。
首先初始化view 中类簇的簇中心，旨在表示每个embedded point 和不同的cluster center 之间的相似度，使用了t-分布进行构造，这里给出t-分布的简单介绍。

t-distr.png

上图展示了一些作者可能的构造分布的想法，

q_ij.png

在当前的聚类任务中， 被当做soft label也就是以概率的形式分配当前视图 中第 个样本到第 个类簇的可能性。随着平方运算和聚类软标签 的归一化，DEC模型中 建立了辅助目标分布 来实现深度单视图聚类。显然在DEMVC中，每个视图 对应的辅助分布利用如下计算：

p_ij.png

为了更好的说明KL散度对聚类的影响，作者甚至还给出了2聚类的相关示意图。

soft and hard assign.png

为了避免多视图间的互补信息被忽略，作者采用了让每个视图分别成为参照视图来引导整个框架学习适合聚类的特征。将其称为multi-view collaborative training。因此我们定义为当前参考视图的辅助目标分布，并且这个辅助目标分布在数据的多个视图之间共享。对于视图的clustering loss则改变为如下：

clustering loss new.png

关于这个参照视图的作用及解释，作者给出了如下的说法：

explain.png

大概意思是对不同view的坐标参照系进行了对齐，使得可以捕获更多的互补信息。
综合上述表示，DEMVC的total loss如下：

DEMVC total loss.png

这么做作者既保留了来自不同视图的local structure，也使用参照视图的方法捕获了来自不同视图的互补信息。

关于聚类中心初始化的一致性策略

作者考虑为多个视图设置相同的类簇，以更好地遵循共识原则。这样，多个视图就不会仅限其自己的群集中心，更易于接受所引用视图的指导。因此在初始化聚类中心的时候引入了首选的参考视图，使用k-menas初始化：

mse.png

~

Consistency strategy.png

值得注意的是，这种相同簇中心的初始化只在初始化阶段。在fine-tuning阶段，簇中心则是在多视图协同训练过程中同步更新，并且只有当前的参考视图是共享的，而每个视图出来的soft label是不同的。

---

这个思想和我们约束聚类的方式很像，只不过使用了trick用于深度模型。值得借鉴。