异构图神经网络（1）Heterogenous Graph Attention Networks

Heterogenous Graph Attention Networks 这篇文章发表在WWW 2019会议上，主要是用了注意力机制来进行节点级别聚合和语义级别的聚合，从而提出了HAN模型。

Motivation

异构性和丰富的语义学信息对构建一个适用于异构图的图神经网络带来了挑战。目前虽然自注意力机制取得了很大的进步，但还没有将其应用于对异构图的建模。

Introduction

构建一个适用于异构图的带有注意力机制的图神经网络需要以下要求：

• 异构图与生俱来的异构特性，图中有多种类型的节点和边，不同类型的节点具有不同的属性。如actor具有sex、age和nationality，而movie则没有；
• Semantic-level attention（语义级别注意力）：这里有一个概念叫meta-path，元路径，描述了节点类型$V_1$和$V_{(l+1)}$之间的一个组合关系，后面会详细解释。不同的元路径会提取到不同的语义信息。Semantic-level attention的目的是学习到每个meta-path的importance，并赋予权值；
• Node-level attention（节点级别注意力）：每个节点很多个meta-path based neighbors，Node-level attention的目的是学习到每个邻居的权值。

Preliminary

G = ( V , E ) V : o b j e c t   s e t ;   E : l i n k   s e t ; Φ : n o d e   t y p e   m a p p i n g   f u n c t i o n   ; φ : l i n k   t y p e   m a p p i n g   f u n c t i o n   ; \begin{aligned} &G=(V,\mathcal{E})\\ &V:object {\,} set ; {\,}\\ &\mathcal{E}:link {\,}set;\\ &\Phi:node {\,}type {\,}mapping {\,}function{\,};\\ &\varphi: link {\,}type {\,}mapping {\,}function{\,};\\ \end{aligned} ​G=(V,E)V:objectset;E:linkset;Φ:nodetypemappingfunction;φ:linktypemappingfunction;​
元路径（meta-path）：
$$A_1\stackrel{R_1}{\to }{A}_2\stackrel{R_2}{\to }\dots \stackrel{R_l}{\to }{A}_{(l+1)}$$
表示组合关系：$R=R_1\circ R_2\circ \dots \circ R_l$，比如两个电影之间的关系，MAM，表示movie-actor-movie，两个电影都有同一个演员；MDM，表示movie-director-movie，两个电影是同一个导演。

Model

Node-level Attention

首先，由于不同的节点有不同维度的属性，所以需要将节点的特征映射到同一个空间。
${\varphi }_i$表示节点$v_i$的类别，对于该类别，有转换矩阵$M_{{\varphi }_i}$，映射过程为：
$$h_i^{\prime }=M_{{\varphi }_i}\cdot h_i$$
得到所有节点的映射特征后，下面就是计算节点$v_i$与其邻居节点的之间的attention。
假设给定节点对$(i,j)，其通过meta-path $\Phi$相连接（或者说可以认为节点$j$是节点$i$关于meta-path $\Phi$的邻居节点），那么节点$i$和$j$之间的重要性计算为：
$$e_{ij}^{\Phi }=at{t}_{node}(h_i^{\prime },h;\Phi )$$
作者认为，节点$i$和节点$j$之间的重要性与节点$j$和节点$i$之间的重要性完全不同，也就是$e_{ij}^{\Phi }$是非对称的。
在得到$e_{ij}^{\Phi }$后，对其进行softmax运算，得到$a_{ij}^{\Phi }$：
从而得到节点$i$关于meta-path $\Phi$的嵌入表示：
$$z_i^{\Phi }=\sigma (\sum _{i\in N_i^{\Phi }}{\alpha }_{ij}^{\Phi }\cdot h_j^{\prime })$$
论文中也提到了multihead attention来计算node-level的注意力。

Semantic-level Attention

$$({\beta }_{{\Phi }_0},{\beta }_{{\Phi }_1},\dots ,{\beta }_{{\Phi }_P})=at{t}_{sem}(Z_{{\Phi }_0},Z_{{\Phi }_1},\dots ,Z_{{\Phi }_P})$$
${\beta }_{{\Phi }_i}$表示第$i$个meta-path的权重，计算过程如论文的(7)(8)所示，首先将节点i关于meta-path $\Phi$的嵌入表示经过一层MLP处理，然后计算与语义层注意力向量$q^T$的相似度，最后做softmax。
得到各个meta-path的权重后，进行加权求和，就得到了综合每个meta-path的embedding后的最终表示：
$$Z=\sum _{i=1}^P{\beta }_{{\Phi }_i}\cdot Z_{{\Phi }_i}$$
（但我觉得这里的$Z$是不是写成$Z_i$更合适些）
下图的解释更清楚。