KGBERT论文阅读（自用）

KGBERT论文阅读

Abstract

一、目前存在的问题：

1. Bert预训练语言模型：通用语言表示( General Language Representation )，缺乏特定领域的知识( Domain-Specific Knowledge )。
2. 知识噪音问题：过多的知识整合可能会使句子偏离其正确含义

二、K-BERT创新点

(1) 提出了一种具有知识图（KG）的知识支持的语言表示模型（K-BERT）即 Knowledge-Enabled Language Representation Model. 通过配备KG轻松地将领域知识注入到模型中，而无需自我预训练，因为它能够从预训练的BERT加载模型参数。
(2)在特定领域的任务（包括金融、法律和医学）中，K-BERT显著优于BERT，这表明K-BERT是解决需要专家的知识驱动问题的最佳选择(Knowledge-driven problems that require experts)。

1. 三元组作为领域知识被注入到句子中；
2. 引入了软定位(softposition)和可见矩阵(visible matrix)来限制知识的影响

Introduction

一、BERT

1. BERT（Devlin等人2018）是无监督预训练语言表示模型，在大规模开放域语料库上进行预训练，以获得通用语言表示，然后在特定的下游任务中进行微调