GNN 2021(十三) An Effective Knowledge Distillation Framework,WWW

GNN 2021(十三) An Effective Knowledge Distillation Framework,WWW_第1张图片
又是北邮石川老师团队的论文(实名羡慕了,这次WWW中了5篇论文)
本文提出了一个知识蒸馏的策略,旨在充分利用数据中有价值的先验知识。所提出的框架提取任意学习的GNN模型(教师模型)的知识,并将其注入到设计良好的学生模型中,学生模型采用标签传播和特征转换两种简单的预测机制,分别自然地保留了基于结构的先验知识和基于特征的先验知识。具体来说,我们将学生模型设计为参数化标签传播和特征转换模块的可训练组合。因此,被学生模型既可以受益于先验知识,也可以受益于GNN教师的知识,从而获得更有效的预测。此外,学习的学生模型比gnn具有更易于解释的预测过程。

Knowledge Distillation

知识蒸馏的目的是将一个高精度且笨重的teacher转换为一个更加紧凑的student。具体思路是:提高teacher模型softmax层的temperature参数获得一个合适的soft target集合,然后对要训练的student模型,使用同样的temperature参数值匹配teacher模型的soft target集合,作为student模型总目标函数的一部分,以诱导student模型的训练,实现知识的迁移。【

你可能感兴趣的:(图神经网络2021,图神经网络,标签传播算法)