paper小计:Empirical Evaluation of Pretraining Strategies forSupervised Entity Linking
Abstract在这项工作中,我们提出了一个实体链接模型,它结合了一个transformer架构与来自维基百科链接的大规模预训练。Introduction略RelatedWork我们没有明确地建模文档级的消除歧义。然而,我们的长上下文窗口包含了几个提到,这应该允许这种消除歧义。我们通过直接从维基百科文本中学习实体的分布式表示来对我们的模型进行预训练,我们的嵌入是直接学习的,而不是通过实体描述生成的