综述 图神经网络时代的深度聚类

作者：纪厚业

单位：北京邮电大学

研究方向：图神经网络和推荐系统

Introduction

聚类作为经典的无监督学习算法在数据挖掘/机器学习的发展历史中留下了不可磨灭的印记. 其中,经典的聚类算法K-Means也被选为数据挖掘十大经典算法. 随着深度学习的兴起,一些工作尝试将深度学习技术(如Autoencoder)引入到传统聚类算法中,也取得了不错的效果.

近些年,图神经网络已经成为深度学习领域最热门的方向之一, 也在推荐/自然语言处理/计算机视觉等很多领域得到了广泛的应用.

那么,能不能利用图神经网络强大的结构捕获能力来提升聚类算法的效果呢? 本文梳理总结了图神经网络赋能的深度聚类算法,供大家参考.

Models

19IJCAI Attributed Graph Clustering: A Deep Attentional Embedding Approach

Motivation

本文认为之前的深度聚类算法都是two-step的: 首先学习数据的特征表示embedding,然后基于特征表示进行数据聚类. 这样所学习的数据embedding并不是任务导向的. 那么,如果能够在学习embedding的过程中,针对聚类任务做一些针对性的设计,那么学习到的embedding自然可以实现更好的聚类.

针对上述问题,本文提出了一种聚类导向的深度算法Deep Attentional Embedded Graph Clustering (DAEGC). DAEGC一边通过图神经网络来学习节点表示,一边通过一种自训练的图聚类增强同一簇节点之间的内聚性.

下图清晰的展示two-step和本文所提出的DAEGC的差异.

Model

下图展示了DAEGC的模型框架

可以看出,整个DAEGC主要包含两大模块:带有注意力机制的图自编码器+自训练聚类.

带有注意力机制的图自编码器

这里就是经典的GAE架构:通过对邻居的聚合来学习节点表示,然后利用节点对的内积来重构原始网络结构. 比较有特色的部分就是结合注意力机制来学习邻居的权重, 这样可以更好的学习节点表示.

下式展示了融合注意力机制的GAE是如何聚合邻居信息来更新节点表示的.本质上就是对邻居的加权平均.
$$z_i^{l+1}=\sigma \left(\sum _{j\in N_i}{\alpha }_{ij}W{z}_j^l\right)$$
其中,$z_i^l,z_i^{l+1}$分别是聚合邻居信息前后的节点$i$的表示, $N_i$代表节点$i$的邻居集合, ${\alpha }_{ij}$表示了节点对$(i,j)$之间的注意力权重.

有了节点表示后, GAE可以通过计算节点对的内积来重构原始网络结构,进而实现无监督的节点表示学习.
$${\hat{A}}_{ij}=\mathrm{sigmoid}\left(z_i^{\top }{z}_j\right)$$
其中,${\hat{A}}_{ij}$可以理解为节点对$(i,j)$间存在边的概率.最后,通过经典的AE重构损失$L_r={\sum }_{i=1}^n\mathrm{loss}\left(A_{i,j},{\hat{A}}_{ij}\right)$就可以对GAE进行训练.

自训练聚类

GAE所学习到的节点表示只是为了更好的重构网络结构,和聚类并没有直接联系.自训练聚类模块就是对GAE所学习到的embedding进行约束和整合,使其更适合于聚类任务. 假定聚类中为${\mu }_u$, 那么节点$i$属于某个类别的概率$q_{iu}$, 如下式所示:
$$q_{iu}=\frac{{\left(1+{\Vert z_i-{\mu }_u\Vert }^2\right)}^{-1}}{{\sum }_k{\left(1+{\Vert z_i-{\mu }_k\Vert }^2\right)}^{-1}}$$
这里, $q_{iu}$可以看作是节点的分配的分布. 进一步的, 为了引入聚类信息来实现聚类导向的节点表示, 我们需要迫使每个节点与相应的聚类中心更近一些,以实现所谓的类内距离最小,类间距离最大.因此,我们定义了如下的目标分布:

$$p_{iu}=\frac{q_{iu}^2/{\sum }_i{q}_{iu}}{{\sum }_k\left(q_{ik}^2/{\sum }_i{q}_{ik}\right)}$$
在目标分布中, 通过二次方$q_{iu}$可以实现一种"强调"的效果(二次方后, 分布会变得更加尖锐,也更置信). 在训练过程中,分布$p$实际起到了一种标签的效果. 最后,通过计算两个分布之间的KL散度,来实现互相约束,也就是所谓的自训练.
$$L_c=KL(P\Vert Q)=\sum _i\sum _u{p}_{iu}\log \frac{p_{iu}}{q_{iu}}$$
综合起来,模型最终的损失函数为
$$L=L_r+\gamma L_c$$
节点$i$的所处于的簇${\mathbf{s}}_i$(也可以理解为其标签)可以通过下式计算:
$${\mathbf{s}}_i=\arg \underset{u}{\max }{q}_{iu}$$

Experiment

作者在3个数据集上进行了实现, DAEGC在大部分情况下都取得了最好的效果.

20WWW Structural Deep Clustering Network

Motivation

深度自编码器可以通过多层非线性编码来提取特征信息,而图神经网络可以聚合邻居信息来充分挖掘结构信息. 为了同时实现对特征的降维抽取和对结构信息的挖掘, 本文提出了Structural Deep Clustering Network (SDCN). 通过堆叠多层GNN, SDCN实现了对高阶结构信息的捕获. 同时,受益于自编码器和GNN的自监督, 这里的多层GNN并不会出现所谓的过平滑现象. 过平滑现象指的是,随着层数的增加,GNN所学习到的节点表示逐渐变得不可区分.

Model

在开始介绍模型之前,需要说明的是:如果数据集本身并没有图结构,作者将会通过计算节点之间的Top-K相似性利用KNN手动构建一张图. 下面是两种相似性计算方法: Heat Kernel和Dotp roduct
$$HeatKernel:{\mathbf{S}}_{ij}=e^{-\frac{{\Vert x_i-x_j\Vert }^2}{t}}$$

$$Dotproduct:{\mathbf{S}}_{ij}={\mathbf{x}}_j^T{\mathbf{x}}_i$$

下图展示了整个SDCN的模型架构图. 可以看出,整个模型主要包含3个部分: GCN模块,DNN模块和双重自监督模块.

DNN模块

这里是一个经典的自编码器.编码器将输入$\mathbf{X}$(也就是${\mathbf{H}}^{(0)}$)通过神经网络编码为隐表示$\mathbf{H}$; 解码器将隐表示$\mathbf{H}$解码为$\hat{\mathbf{X}}$(也就是${\mathbf{H}}^{(L)}$).
$$\begin{gathered} {\mathbf{H}}^{(\ell )}=\varphi \left({\mathbf{W}}_e^{(\ell )}{\mathbf{H}}^{(\ell -1)}+{\mathbf{b}}_e^{(\ell )}\right) \\ {\mathbf{H}}^{(\ell )}=\varphi \left({\mathbf{W}}_d^{(\ell )}{\mathbf{H}}^{(\ell -1)}+{\mathbf{b}}_d^{(\ell )}\right) \\ {\mathcal{L}}_{res}=\frac{1}{2N}\Vert \mathbf{X}-\hat{\mathbf{X}}{\Vert }_F^2 \end{gathered}$$
可以看出,通过重构loss和多层非线性映射, ${\mathbf{H}}^{(\ell )}$可以较好的反映节点的特征信息.

GCN模块

另一方面, GCN可以聚合邻居信息来更新节点表示,其更新过程如下:
$${\mathbf{Z}}^{(\ell )}=\varphi \left({\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}{\mathbf{Z}}^{(\ell -1)}{\mathbf{W}}^{(\ell -1)}\right)$$
其中,${\mathbf{Z}}^{(\ell )}$是第$\ell$层GCN学习到的表示, $\mathbf{A}=\mathbf{A}+\mathbf{I}$是带有自联的邻接矩阵, ${\mathbf{D}}_{ii}={\sum }_j{\mathbf{A}}_{\mathbf{i}\mathbf{j}}$.

截止到目前为止都是一些常规的DNN和GCN.接下来就是SDCN的特色部分: 第$\ell$层最终表示${\mathbf{Z}}^{(\ell -1)}$实际上混合了初始GCN表示${\mathbf{Z}}^{(\ell -1)}$和DNN的编码表示${\mathbf{H}}^{(\ell -1)}$.
$${\mathbf{Z}}^{(\ell -1)}=(1-ϵ){\mathbf{Z}}^{(\ell -1)}+ϵ{\mathbf{H}}^{(\ell -1)}$$
可以看出,在这一步,作者将GNN和DNN联系了起来.第L层的最终表示可以进一步映射为一个类别概率,
$$Z=\mathrm{softmax}\left({\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}{\mathbf{Z}}^{(L)}{\mathbf{W}}^{(L)}\right)$$
其中, $z_{ij}\in Z$ 可以看做是节点$i$属于类别$j$的概率, $Z$其实是一个指示了节点处于不同类别的概率分布.

双重自监督模块

最后是一个双重自监督模块,其作用体现在两个方面: (1)通过GCN部分和DNN部分的互相监督可以实现模型的无监督学习. (2)通过引入聚类信息来更好的学习任务导向的节点表示.与上一篇19IJCAI Attributed Graph Clustering: A Deep Attentional Embedding Approach类似, SDCN也设计了两个分布. 这里不再赘述,详见上一篇的解读.

节点的类别分布为:
$$q_{ij}=\frac{{\left(1+{\Vert {\mathbf{h}}_i-{\mathbf{\mu }}_j\Vert }^2/v\right)}^{-\frac{v+1}{2}}}{{\sum }_{j^{\prime }}{\left(1+{\Vert {\mathbf{h}}_i-{\mathbf{\mu }}_{j^{\prime }}\Vert }^2/v\right)}^{-\frac{v+1}{2}}}$$
目标分布为:
$$p_{ij}=\frac{q_{ij}^2/f_j}{{\sum }_{j^{\prime }}{q}_{i{j}^{\prime }}^2/f_{j^{\prime }}}$$
同样的,也是最小化两个分布之间的KL散度:
$${\mathcal{L}}_{clu}=KL(P\Vert Q)=\sum _i\sum _j{p}_{ij}\log \frac{p_{ij}}{q_{ij}}$$
这里,我们可以将$p_{ij}$视为标签来对GCN模块进行监督.
$${\mathcal{L}}_{gcn}=KL(P\Vert Z)=\sum _i\sum _j{p}_{ij}\log \frac{p_{ij}}{z_{ij}}$$
总的来说, 分布$P$起到了一个桥接的作用,将DNN所学到的表示和GCN所学习到的表示进行约束.

模型完整损失函数如下:
$$\mathcal{L}={\mathcal{L}}_{res}+\alpha {\mathcal{L}}_{clu}+\beta {\mathcal{L}}_{gcn}$$
节点$i$的标签可以通过下式计算:
$$r_i=\underset{j}{\mathrm{argmax}}{z}_{ij}$$

Experiment

作者在6个数据集上做了大量的有效性实验. 可以看出, SDCN在所有数据集上都取得了大幅的提升.

比较有意思的实验是模型层数实验,如下图所示.可以看出,随着层数的增加,模型的效果会有大幅度的提升,并没有出现过平滑现象.

除此之外,作者还测试了不同的混合系数$ϵ$对模型效果的影响.

19IJCAI Attributed Graph Clustering via Adaptive Graph Convolution

Motivation

与上一篇SDCN相似,本文也利用了高阶结构信息(多层GNN)来提升聚类的效果.尽管这两篇非常相似,它们也是有一些差异的: (1) 本文所提出的AGC是从图信号处理谱图理论的角度来理解GNN并增强了聚类效果; (2) 本文所涉及的AGC可以自适应的选择高阶信息的阶数,而SDCN则需要手动指定超参数.

Model

谱域的图卷积

这里首先简单回顾一下谱域的图卷积:
$$\overline{\mathbf{f}}=G\mathbf{f}=Up(\Lambda )U^{-1}\cdot U\mathbf{z}=\sum _{q=1}^{n}p\left({\lambda }_q\right)z_q{\mathbf{u}}_q$$
其中,$p(\Lambda )$是一个频响函数,可以对$\Lambda$中的值(也就是特征值)进行放缩, $\overline{\mathbf{f}},\mathbf{f}$分别是经过图滤波器$G$卷积前后的图信号.
$$\mathbf{f}=U\mathbf{z}=\sum _{q=1}^n{z}_q{\mathbf{u}}_q$$
这里, $\mathbf{f}$可以看做一组基信号的加权, 而这组基是由拉普拉斯矩阵$ L_s$分解得到的,
$$L_s=U\Lambda U^{-1}$$
其中, $U=\left[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_n\right]$代表$n$个基向量,$\Lambda =\mathrm{diag}\left({\lambda }_1,\cdots ,{\lambda }_n\right)$是一个对角阵,${\lambda }_q$的大小可以反映基向量${\mathbf{u}}_q$的平滑程度.
$$\begin{array}{l}\Omega \left({\mathbf{u}}_q\right)=\frac{1}{2}{\sum }_{\left(v_i,v_j\right)\in \mathcal{E}}{a}_{ij}{\Vert \frac{{\mathbf{u}}_q(i)}{\sqrt{d_i}}-\frac{{\mathbf{u}}_q(j)}{\sqrt{d_j}}\Vert }_2^2\\ ={\mathbf{u}}_q^{\top }{L}_s{\mathbf{u}}_q={\lambda }_q\end{array}$$
为什么这里需要涉及到"平滑"这个概念呢? 图上的"平滑"程度反映了相邻节点的相似程度.图上的高频意味着不平滑,特征值大; 图上的低频意味着平滑,特征值小.

那么在一组基中, 相对平滑的图信号实际上是有利于聚类的.因为聚类的目的是把相似的节点放到一起.

如何实现对低频信号的筛选(也就是对高频信号的抑制)呢? 其实很简单,我们只要想办法将较大特征进行压缩. 回想上面的频响函数$p(\Lambda )$的作用, 我们可以设计恰当的$p$来实现我们的目的
$$p\left({\lambda }_q\right)=1-\frac{1}{2}{\lambda }_q$$
很明显, ${\lambda }_q$越大, $p\left({\lambda }_q\right)$越小. 相应的图滤波$G$可以写作:
$$G=Up(\Lambda )U^{-1}=U\left(I-\frac{1}{2}\Lambda \right)U^{-1}=I-\frac{1}{2}{L}_s$$
一阶图卷积可以写作:
$$\bar{X}=\left(I-\frac{1}{2}{L}_s\right)X$$
那么,k阶图卷积也呼之欲出,
$$\begin{gathered} \bar{X}={\left(I-\frac{1}{2}{L}_s\right)}^{k}X \\ p\left({\lambda }_q\right)={\left(1-\frac{1}{2}{\lambda }_q\right)}^k \end{gathered}$$
到这里,也就可以聚合k阶邻居来学习节点表示了,也就是所谓的k阶图卷积.同时注意,卷积过程中抑制了高频信号,更多的低频信号(更符合聚类要求)被捕获了.

自适应k选择

现在还剩一个问题需要解决,图卷积的k阶该如何确定?

这里作者用了一个启发式的方法:逐渐增加k, 当类内距离开始变小时,停止搜索. 内类距离如下所示
$$intra(\mathcal{C})=\frac{1}{|\mathcal{C}|}\sum _{C\in \mathcal{C}}\frac{1}{|C|(|C|-1)}\sum _{v_i,v_j\in C}{\Vert {\bar{x}}_i-{\bar{x}}_j\Vert }_2$$
可以看出,这里k的选择也是比较符合聚类的要求(类内距离最小,类间距离最大).

Experiment

作者在4个经典数据集上进行了实验.总的来说,AGC的效果还是不错的.

20ArXiv Embedding Graph Auto-Encoder with Joint Clustering via Adjacency Sharing

Motivation

本文与之前几篇的类似,也是用GNN来学习适合于聚类任务的节点表示. 比较特别的是,本文同时考虑了K-Mean聚类和谱聚类来实现更好的聚类.

Model

下图展示了本文所提出的Embedding Graph Auto-Encoder with JOint Clustering via Adjacency Sharing (EGAE-JOCAS)的整体框架.

图自编码器

首先,作者利用图卷积神经网络来学习节点的表示$Z$, 然后利用节点表示来尝试重构原始图结构.
$$\hat{A}=\sigma \left(\varphi \left(Z{Z}^T\right)\right)$$
略有不同的是,作者这里对$Z{Z}^T$做了一个非线性变换.
$$\varphi (x)=x-\frac{1}{x}$$
作者认为$\varphi (x)$(函数曲线见下图)可以更好的对节点对的内积进行映射.在$x$较大的时候, $\varphi (x)$可以更好的逼近$y=x$.

联合聚类

联合聚类的公式如下图所示,
$$\underset{G^{T}G=I}{\min }{\Vert X-F{G}^T\Vert }_F^2+\gamma \mathrm{tr}\left(G^{T}LG\right)$$
第一项是K-Mean聚类,其中$G$是一个指示器, 实际上反映了节点属于不同簇的概率.

第二项是谱聚类,直观的理解就是,相近的节点应该属于相同的簇.回顾上一篇的"平滑程度",可以发现它们有异曲同工之妙.
$$\begin{array}{l}\Omega \left({\mathbf{u}}_q\right)={\mathbf{u}}_q^{\top }{L}_s{\mathbf{u}}_q\end{array}$$
联合之前GAE的重构损失,EGAE-JOCAS最终的目标函数为:
$$\underset{\hat{A},Z,F,G^{T}G=I}{\min }J(\hat{A},A)+\alpha \left({\Vert Z-F{G}^T\Vert }_F^2+\gamma \mathrm{tr}\left(G^{T}LG\right)\right)$$

Experiment

最后,作者在四个数据集上进行了实验. 总的来说,EGAE-JOCAS在所有数据集上都取得了明显的提升.

Conclusion

聚类是机器学习/数据挖掘的一个基础性问题.从传统聚类到深度聚类以及现在图神经网络赋能的聚类, 各种各样的聚类算层出不穷,也在很多领域得到了广泛的应用.考虑到图神经网络对结构信息的捕获能力,在涉及到群体结构的聚类任务上,本文所介绍的聚类算法应该会取得更大的提升.