《GNN-LM: LANGUAGE MODELING BASED ON GLOBAL CONTEXTS VIA GNN》论文笔记
Openreview:三位评委得分分别为6,8,10,单项满分8分:方法独特,对语言模型有很大的改进,取得sofa。但有些实验做的不够,比如选择的token数量;10分:非常好,ppl显著降低,利用外部知识促进语言模型,方法独特;6分:只比较WikiText-103数据,其他两个数据集没比较,实验很多细节没有公布,复现性差。先看个例子:GNN构造:首先对训练集所有token的隐层向量进行缓存节点: