【论文笔记】Matching the Blanks: Distributional Similarity for Relation Learning

Matching the Blanks: Distributional Similarity for Relation Learning

导读

BERT + RE

现在要玩BART，学两手token处理

Abstract

普适的关系抽取器（general purpose relation extractor.）

build on extensions of Harris’ distributional hypothesis to relations.

任务无关的关系表征

笔者：看起来要比Simple BERT for RE更有理论依据一些。

Introduction

核心观点就是：

将所有的subject，object都mask成[BLANK]，训练目标是相同的entity pair所处的关系表征会更加的相似

通过使用这样的训练方式，在FewRel数据集上取得了非常好的效果（比报告的所有方法性能都要高。）这还是在没有使用他的训练数据的情况下。

[CLS] [E1] Entity 1 [/E1] … … [E2] Entity 2 [/E2] [SEP]

读到这里，有两个点需要关注

1. 这篇文章是可以在大量的distantly supervised的数据上进行训练的，(因为distant supervision标注了entity, 重点倒并不是relation是否相同（反正和distant supervision的assumption是相同的）)

2. 这篇文章的重点已经结束了，无语