Attributed Graph Clustering: A Deep Attentional Embedding Approach，DAEGC

论文：2019 IJCAI
代码: [pytroch](

此论文可以看作是Unsupervised Deep Embedding for Clustering Analysis,DEC在图结构上的应用。

此论文是一个基于图注意的自编码器，在编码器中使用图注意力。在此基础上，使用一种自训练模块来指导聚类算法获得更好的性能。

Graph Attentional Autoencoder

最初的图注意网络GAT仅考虑了属性值方面的重要性，此论文在属性值和拓扑距离两个方面来度量邻域节点的重要性。

GAT属性值重要性

本文拓扑距离重要性
在拓扑结构上，邻居节点有助于通过边来表示目标节点。GAT只考虑相邻节点（一阶）来进行图的注意。由于图具有复杂的结构关系，我们建议利用编码器中的高阶邻居。我们通过考虑图中的t阶邻域节点来得到一个接近度矩阵：

这里$B$是转移矩阵，其中$B_{ij}=1/d_i$，如果$e_{ij}\in E$，否则$B_{ij}=0$。$d_i$是节点$i$的度。因此，$M_{ij}$表示节点$j$到节点$i$的$t$阶的拓扑相关性。在这种情况下，$N_i$表示$M$中$i$的相邻节点。即，如果$M_{ij}>0$，则j是i的邻居。对于不同的数据集，可以灵活地选择$t$，以平衡模型的精度和效率。

B可以理解为邻接矩阵，邻接矩阵的2次幂可以得到2阶邻接节点，即通过2步可以走到的点。邻接矩阵的t次幂可以得到t阶邻接节点，即通过t步可以走到的点。
$B+B^2+...+B^t$很显然体现了图的拓扑结构。

设A是某个图的邻接矩阵
考虑矩阵乘法的定义：
令 $C=A\times B$
$$C_{ij}=\sum _{k=1}^n{A}_{ik}\times B_{kj}$$
那么
$$A_{ij}^2=\sum _{k=1}^n{A}_{ik}\times A_{kj}$$
邻接矩阵A中的元素都是用0,1来表示是否联通的，或者说，代表有没有方法从$i$走到$j$。
那么，$A_{i,k}\times A_{kj}$就是表示从$i$走到$k$再走到$j$是否可行。

具体的，我们以邻接矩阵的2次幂为例计算

不考虑对角线元素，可以看到1-4，2-3是连通的，正好是2阶相邻节点。

Self-optimizing Embedding

借用了t-SNE的思想，用t分布来表示一个特征点z到聚类中心 $\mu$距离的分布Q，间接的表达了特征点 $z_i$​该属于聚类中心 ${\mu }_j$的概率：

$q_{ij}$可解释为将样本i分配给聚类j的概率（即软分配）。

作者提出通过一个仔细设计的辅助目标分布P，最小化如下目标函数:

可以从当前的高信念指派中学习到聚类的信息。目标分布P该如何选取尼？作者指出它应具有的3个特征：

1. 加强预测（strengthen predictions）
2. 重点照顾当前有高信念指派的数据点
3. 正则化代价函数对每个聚类中心的贡献，防止出现过大的分类

在此基础上作者提供了下面的目标分布：

参考链接：
Unsupervised Deep Embedding for Clustering Analysis论文翻译
DEC(Deep Embedded Cluster)小结
DEC–yxue3357
论DEC＜Deep Embedded Clustering＞的由来–抢我糖还想跑
邻接矩阵的幂