message passing neural network——MPNN

《message passing neural network 》

这篇工作是2017 年的工作《Neural Message Passing for Quantum Chemistry》，消息传递神经网络（Message Passing Neural Network，MPNN）

分为以下几个部分介绍：

• CONTRIBUTION
• INTRODUCTION
• METHOD
• RESULTS
• CONLUSION

CONTRIBUTION

• MPNN在13个靶向物中达到很好的效果，而且在13个靶向物中的11个进行了预测DFT准确性。
• 提出了几个不同的MPNNs模型来预测13个靶向物中的5个化合物DFT（ Density Functional Theory）的准确性，
• 提出了一个通用算法来训练大结点表示的MPNNs, 比起以前的大节点表示节省了大量的计算时间和资源。

INTRODUCTION

严格来说，MPNN 不是一个模型，而是一个框架。作者在这篇论文中主要将现有模型抽象其共性并提出成 MPNN 框架，同时利用 MPNN 框架预测分子分类。

深度学习被广泛应用于图像、音频、NLP 等领域，但在化学任务（分子分类等）中仍然使用中机器学习+特征工程的方式。随着GNN的发展，在化学生物等科学上，利用图的拓扑结构去建模分子之间的依赖关系。

作者的目标是证明能够应用于化学预测任务的模型可以直接从分子图中学习到分子的特征，并且不受到图同构的影响。为此，作者将应用于图上的监督学习框架称之为消息传递神经网络（MPNN）.

METHOD

3.1 通用形式

简单起见，我们考虑无向图 G，节点 v 的特征为 $x_v$，边的特征为$e_{wv}$ 。前向传递有两个阶段：一个是「消息传递阶段」（Message Passing），另一个是「读出阶段」（Readout）。考虑消息传递阶段，消息函数定义为 $M_t$，顶点更新函数定义为 $U_t$，t 为运行的时间步。在消息传递过程中，隐藏层节点 v 的状态 可以被基于$m_v^{t+1}$进行更新：

读出阶段使用一个读出函数 R 来计算整张图的特征向量：

消息函数 $M_t$，向量更新函数 $U_t$ 和读出函数R都是可微函数。 R作用于节点的状态集合，同时对节点的排列不敏感，这样才能保证 MPNN 对图同构保持不变。

此外，我们也可以通过引入边的隐藏层状态来学习图中的每一条边的特征，并且同样可以用上面的等式进行学习和更新。

接下来我们看下如何通过定义「消息函数」、「更新函数」和「读出函数」来适配不同种模型。

卷积网络的分子指纹学习 （ Convolutional net-works on graphs for learning molecular fingerprints）

门图神经网络（Gated Graph Neural Networks (GG-NN)）

Interaction Networks(Interaction networks for learning about objects, relations and physics)

Molecular Graph Convolutions(Molecular graph convolutions:Moving beyond fingerprints）

Deep Tensor Neural Networks( Quantum chemical insights from deep tensor neural networks)

3.2 MPNN Variants

3.2.1 Message Functions

3.2.2 Virtual Graph Elements

• 添加虚拟边，将距离比较近的结点认为加上边，使其在传播时可以访问更长的距离
• 添加“主”结点
  即认为主节点与所有输入节点都有特殊的边。在消息传递的每个步骤中，主节点充当一个全局起始空间，每个节点对它进行读写操作。可以让组节点有其特定的维度$d_{master}$ ,并且在内部更新函数中有其独立的参数。

3.2.3 Readout Functions

这里尝试了两种readout function。

3.3 Input Representation

对于分子来说有很多可以提取的特征，比如说原子组成、化学键等，详细的特征列表如下图所示：

对于邻接矩阵，作者模型尝试了三种边表示形式：

• 化学图（Chemical Graph）：在不考虑距离的情况下，邻接矩阵的值是离散的键类型：单键，双键，三键或芳香键；

• 距离分桶（Distance bins）：基于矩阵乘法的消息函数的前提假设是"边信息是离散"的，因此作者将键的距离分为 10 个 bin，比如说 [2,6] 中均匀划分 8 个 bin，[0,2] 为 1 个 bin，[6, +∞] 为 1 个 bin；

• 原始距离特征（Raw distance feature）：也可以同时考虑距离和化学键的特征，这时每条边都有自己的特征向量，此时邻接矩阵的每个实例都是一个 5 维向量，第一维是距离，其余思维是四种不同的化学键。

RESULTS

实验结果，以 QM-9 数据集为例，共包含 130462 个分子，以 MAE 为评估指标。

下图为现有算法和作者改进的算法之间的对比：

下图为不考虑空间信息的结果:

CONCLUSION

作者从诸多模型中抽离出了 MPNN 框架，并且通过实验表明，具有消息函数、更新函数和读出函数的 MPNN 具有良好的归纳能力，可以用于预测分析特性，优于目前的 Baseline，并且无需进行复杂的特征工程。此外，实验结果也揭示了全局主节点和利用 set2set 模型的重要性，多塔模型也使得 MPNN 更具伸缩性，方便应用于大型图中。

参考：
https://blog.csdn.net/qq_27590277/
https://blog.csdn.net/weixin_40248634/article/details/105169483