[异构图-论文阅读]Heterogeneous Graph Transformer

这篇论文介绍了一种用于建模Web规模异构图的异构图变换器（HGT）架构。以下是主要的要点：

摘要和引言 (第1页)

1. 异构图被用来抽象和建模复杂系统，其中不同类型的对象以各种方式相互作用。
2. 许多现有的图神经网络（GNNs）主要针对同构图设计，无法有效表示异构结构。
3. HGT通过设计节点和边类型相关的参数来模拟异构注意力，从而允许HGT为不同类型的节点和边保持专用的表示。
4. 通过使用HGSampling（异构小批量图采样算法），HGT能够有效和可扩展地处理Web规模的图数据。 在Open Academic Graph上的实验显示，HGT在各种下游任务上一致优于所有最先进的GNN基线。

HGT架构（第2页和第3页）

• 异构互注意力（Heterogeneous Mutual
  Attention）：HGT通过将目标节点映射到查询向量，将源节点映射到键向量，并计算它们的点积作为注意力。每个元关系（即，<源节点类型，边类型，目标节点类型>三元组）应具有不同的投影权重集。这允许模型捕捉到不同类型的节点和边之间的不同语义关系，同时通过使用更小的参数集来保持它们的特定特征。

• 异构消息传递（Heterogeneous Message
  Passing）