K-BERT,KnowBERT,KEPLER,KELM,K-Adapter,CoLAKE_biji

K-BERT: Enabling Language Representation with Knowledge Graph.

对于每个句子抽取出三元组 ，构建sentence tree ，与原始句子合并一起编码position，输入给transformer。

对于position embedding，树上每个节点有个绝对位置hard position，每条路径分支上有soft position。具体如下图。
对于visible matrix。各个句子part只可见和自己有关的部分，无关的部分不可见。

KnowBERT:Knowledge Enhanced Contextual Word Representations. (EMNLP 2019)

将预训练得到的模型表示，经过知识提取后的知识表示得到基于实体的表示，再和原表示一起得到最终的表示。

KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation. (TACL2020)

将每个实体和对应的描述链接起来,通过Bert 对实体描述得到实体embedding，再结合关系用TransE，作为KELoss。文本部分加上MLMloss。

KELM：Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training NAACL2021 Google.

从文本和知识图谱中获取信息，但是由于知识图谱和文本的结构不同，将知识图谱转变为自然文本，送给pretrain model. REALM使用检索到的文档增强预训练效果，这里将wikiKG转化为流畅自然的语句，作为语料送给预训练模型。核心部分: Text From KG Generated分为启发式构造自动对其wiki pedia和wiki KG，T5，生成三元组组合语言的实体子图创建器，以及后处理消除badcase。

K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. (2020)

与注入知识训练个大模型相反，这里提出的观点是大模型基本不变，在模型的后面增加具体知识对应的适配器，不影响大模型的使用。也不会因为注入了知识，让模型跑偏，接入和移除具体模块比较方便。

CoLAKE: Contextualized Language and Knowledge Embedding.

CoLAKE将语言与知识的上下文通过统一的异构图进行建模，使用扩展的掩蔽语言模型在大规模无标注语料和知识图谱上进行预训练。利用语言上下文和KG上下文同时训练，使用异构图将word和entity、relation等链接到图网络中，使用图神经网络的 inductive learning 来达到易扩展性。transduction learning 使用节点进行训练，inductive learning 使用节点的邻居节点来训练。训练的时候mask word，mask entity，mask relation.
存在问题：word构建graph，严格按照 sequence 序列进行，强依赖于词序。这样由 seq 到 graph的转换可能和 KG graph 的结构性不是一个层面上的。