香侬科技GNN-LM：基于全局信息的图神经网络语义理解模型笔记

LM任务

$$\begin{gathered} Task:LanguageModeling(LM)任务 \\ input{c}_t=(w_1，w_1\dots ，w_{t-1}) \\ outputp(w_t|c_t) \\ c即context，即由上下文预测下一个单词或字符是什么 \\ 常规方法BaseLM：h_t=f(c_t)\in R^d,p(w_t|c_t)=Softmax(W{h}_t) \\ EvaluationMetric:perplexity \end{gathered}$$

本网络

        基于图神经网络的语义理解模型的GNN-LM，它将传统的NLP的闭卷模式，转变为开卷模式：在推理过程中允许参考训练数据。

        输入的样例为query，首先在训练数据中通过K近邻（KNN）寻找相似的样例为邻居。通过图神经网络GNN建立输入样例与邻居的关系。

KNN

        We further combine GNN-LM with kNN-LM (Khandelwal et al., 2019), an orthogonal technique enhancing language models, to improve the overall performance of our model.¹

近邻查询的结果展示：

图的构建

$$\begin{gathered} V:vertex即每个token \\ A:点的类型，\{a_o取自input，a_n取自retrive\} \\ R:边的类型，\{r_{inter}不同contex，r_{intra}同contex\} \\ 函数：\tau 点类别查询,\Phi 边类别查询 \end{gathered}$$

其中计算attention的方法：

GNN+KNN

注：本文使用的KNN除以了超参数T，以将尖峰平滑
        BaseLM选择一个sota的LM训练后freeze

参考文献

GNN-LM: LANGUAGE MODELING BASED ON GLOBAL CONTEXTS VIA GNN
【AI Drive】第104期 - 香侬科技孟昱先：GNN-LM 从“闭卷考试”到“开卷考试”
求通俗解释NLP里的perplexity是什么？
代码

---

1. Generalization through Memorization: Nearest Neighbor Language Models ↩︎