K-BERT,KnowBERT,KEPLER,KELM,K-Adapter,CoLAKE_biji
K-BERT:EnablingLanguageRepresentationwithKnowledgeGraph.对于每个句子抽取出三元组，构建sentencetree，与原始句子合并一起编码position，输入给transformer。对于positionembedding，树上每个节点有个绝对位置hardposition，每条路径分支上有softposition。具体如下图。对于visible