学术速运|Equiformer：用于三维原子图的等变量图注意变换器

题目：Equiformer: Equivariant Graph AttentionTransformer for 3D Atomistic Graphs

文献来源：https://arxiv.org/abs/2206.11990

代码：未开源（文章仍在under reviwer，与作者已确认）

简介：三维相关的诱导偏差,如平移不变性和旋转等方差,在三维原子图(如分子)上操作的图神经网络是不可缺少的。受各种领域Transformer成功案例的启发,作者将这些感应偏差融入Transformer中.在本文中,作者提出了Equiformer,一种利用Transformer架构并结合基于不可约表示(irreps)包含SE(3)/E(3)-等价特征的图神经网络的特点在通道维度中编码等价信息，并且可以不使图结构复杂化。该方法通过用等价对应物替换原始操作来直接合并信息。此外,为了更好地将Transformer适应3D图,他们提出了一种新的等量图attention。它关注于内容和几何信息,例如包含在irreps特征中的相对位置。为了提高attention的能力,作者用多层感知器attention替代了原先的点积attention。作者利用了两个量子属性预测数据集QM9和OC20进行了基准测试。对于QM9,Equiformer在12个回归任务中的11个获得最佳结果。对于OC20,在使用IS2RE数据和可选的IS2RS数据进行训练下的情况下,根据最先进的模型进行了等效改进。