论文阅读“Multi-View Attribute Graph Convolution Networks for Clustering”（MAGCN）

Cheng J, Wang Q, Tao Z, et al. Multi-View Attribute Graph Convolution Networks for Clustering[C]. IJCAI, 2020.

摘要翻译：

图神经网络(GNN)在处理图结构数据方面取得了相当大的成就。然而，现有的方法由于节点属性收集和图重构的缺点，不能为不同的节点分配可学习的权值，且缺乏鲁棒性。此外，大多数多视图GNN主要集中在多图的情况下，而用于解决多视图属性的图结构化数据而设计GNN的研究仍很少。在本文中，作者提出了一种新奇的多视图属性图卷积网络（MAGCN）模型用于聚类任务。MAGCN设计有两路编码器，可映射图形嵌入特征并学习视图一致性信息。具体来说，第一种途径是开发多视图属性图注意网络，以减少噪声/冗余信息，学习多视图图数据的图嵌入特征；第二种途径是开发一致的嵌入编码器，以捕获不同视图之间的几何关系和概率分布的一致性，从而自主的为多视图属性学习一致的聚类嵌入空间。在三个基准图数据库上进行的实验表明，与几种最新算法相比，该方法是有效的。

切入点：对于数据的入手并不局限于多视图所形成的多图数据结构，而是针对于多视图属性特征。
However, those algorithms are no longer suitable for processing intensively studied data, which often occurs in the non-Euclidean domains such as graphs in social network connections, article citations, etc.
1)They cannot allocate learnable specifying different weights to different nodes in the neighborhood; (attention)
2)They may neglect to proceed with the reconstruction of both node attributes and graph structure to improve the robustness; (关于节点信息和图结构信息的重构)
3)The similarity distance measure is not explicitly considered for the consistency relationship among different views. (不同视图之间度量的不一致性)

主要贡献点：

• 开发了基于注意力机制的多视图属性图卷积编码器，以减少多视图图数据的噪声/冗余信息（为不同的邻域节点分配不同的权重）。此外，还考虑了节点属性和图结构的重构，以提高鲁棒性（重构节点信息和结构信息提高模型鲁棒性）。
• 通过探索不同视图的几何关系和概率分布一致性，设计一致性嵌入编码器来提取多个视图之间的一致性信息。（多视图聚类特点应用）

模型浅析

数据及问题定义

一个图数据可表示为，为包含的节点集合，E为边集合，n为节点数量。在研究中，假设图G对应的视图m的节点属性特征为。因为在多视图特征表示中，各视图属性特征的维度不一致，使用做区分。

Multi-view Attribute Graph Convolution Encoder（多视图属性图卷积编码器）

为方便说明，我们首先对多视图属性图卷积编码器进行输入说明。
对于多视图中的任一视图，该过程可图示化为：

view m of MAGCN

其中，a为视图m的输入（包含多视图共享图形式化为邻接矩阵，以及节点特征矩阵）；b为通过结构学习过程得到的隐藏节点特征表示；c为通过该特征矩阵重建节点信息和结构信息。
在论文的first pathway介绍中，m视图的图嵌入模型被记录为。
这里我觉得是作者的笔误，或者是故意将common graph记为$G$，从公式理解角度而言，这里的G和A应该都代表的是图的结构信息矩阵输入，shape为n*n
对于未添加注意力机制的的学习如传统GCN一致，如下：

H_m的学习

该论文为了更好的为自身节点和邻域节点分配可学习的权重，在节点之间使用了带有共享参数的注意力机制。对于第 层multi-view encoder，可学习的相关性矩阵定义为：

S矩阵计算

这里备注一下和的element-wise multiplication，和的维度为，因此对于自身节点和邻域节点的权重是全图共享的。的shape为，与一维权重张量做element-wise，则要求其权重张量的列与G的列数一致，这里是默认? 如果是这样则 的shape可以计算为: ，即。
解码部分分为对于属性节点特征的重建和结构信息的重建，利用得到的使用inner product decoder优先计算图结构的生成，然后计算节点属性解码层的每层输出

节点解码

值得注意的是编码层和解码层对应的图结构矩阵不相同。
面向多视图数据，其重构损失对应于每个视图，包含节点属性特征重构和结构信息重构:

reconstruction loss

Consistent Embedding Encoders

针对每个视图m，采用非线性映射进行转换。几乎包含所有原始信息，因此不适合直接用于多视图集成。然后，我们使用一致的聚类层来学习由所有自适应集成的公共聚类嵌入特征作为是低维特征空间上的自适应视图融合。
在这一部分，论文使用了两种一致性约束方式：
（1）几何关系一致性

geometric relationship consistency

（2）概率分布一致性（同DEC，这里不进行赘述）

probability distribution consis-tency

目标分布由对应生成，对应的软分配。

Clustering

整体模型分为多视图编码和多视图一致性约束，总loss如下:

---

实验分析

• 实验设置（Metrics and Databases、Implementation Details、Comparison Algorithms（We choose several state-of-the-art clustering compared algorithms as follows））
• 实验分析（Evaluation Metrics with Comparison Algorithms、Analysis of Probability Distribution Consistency、Impact of Parameters、Analyzing Different View 2）

结论描述

In this paper, we propose a novel Multi-View Attribute GraphConvolution Networks for Clustering (MAGCN), a general method to multi-view graph neural network. （提出了什么） MAGCN is designed with dual encoders that reconstruct the extracted features in high dimensions and integrate the low dimension consistent information.（针对什么怎么做的） Multi-view attribute graph auto-encoder and consistent embedding encoder network successively reduce the noise and the difference among different views and finally get the ideal description space of multi-view attribute graph for clustering. （起到了什么作用） Experimental results on the multi-view graph structure databases demonstrate the validity of our method and perform superior advantages over several state-of-the-art algorithms.（实验证明了我们模型的有效性）

---

模型的写作很棒！对整体模型进行了包装，使得论文看起来完整可行！