论文笔记 ICLR 2021|STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES

1 简介

论文题目：STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
论文来源：ICLR 2021
组织机构：Amazon Web Services
论文链接：https://arxiv.org/pdf/2101.05779.pdf
代码链接：https://github.com/amazon-research/tanl

1.1 动机

• 大部分方法处理结构预测使用具体任务的鉴别器，这些方法存在两种限制：
  1. 分类器不能轻易地利用预训练模型的潜在知识(可能已经具有的关于任务标签的含义(语义))。
  2. 鉴别器的结构应用于具体的任务，训练一个模型解决多个任务是困难的。

1.2 创新

• 提出TANL框架，以一种统一的方式解决多个结构预测任务，映射结构预测任务为翻译任务，通过设计增强自然语言，能够将结构化信息编码为输入或输出的一部分。
• 同时在多个任务上训练一个模型，与单任务模型相比，获得可比较或更好的结果。
• 由于标签语义知识转移的改进，与以前的方法相比，可以提高少样本情景中的性能。
• 虽然我模型是纯生成的(输出一个句子，而不是类标签)，但它可以通过使用输出token似然度作为类分数的代理来进行有区别的评估，从而产生更准确的预测。

2 方法

整体框架如上图，输入和输出是具体的增强自然语言。

2.1 Augmented natural languages

使用实体关系联合抽取任务为例子，展示增强自然语言的格式，实体和关系使用[]符号分隔，实体类型和关系使用I符号分隔(X=Y，其中X为关系类型，Y是尾实体)，输出重复输入的单词，可以减少一个实体出现多次造成的歧义性。

2.2 Nested entities and multiple relations

下图表示嵌套的实体和多个关系时，增强自然语言的格式，“lithium toxicity”的类型为disease，”“lithium”的类型为drug，“lithium toxicity”与“acyclovir”的关系为“effect”，与“lithium”的关系为“effect”。

2.3 Decoding structured objects

得到输出后，解码句子得到预测的结构，过程如下：

1. 移除特殊的token，抽取实体类型和关系，格式非法的删除。
2. 使用Needleman-Wunsch alignment algorithm对齐识别的token和输入句子中的实体。(如下图，拼写错误的“Aciclovir”可与正确的“acyclovir”对齐)
3. 对于输出中的关系，尾实体与最近的实体对齐。
4. 移除不属于数据库的实体类型或关系类型。

2.4 Multi-task learning

该模型可以应用的多数据集上，在输入文本前加入数据库名，使用:分隔(如“ade :”))

2.5 Categorical prediction tasks

对于分类任务，不使用分类器的方法，使用输出序列似然度作为类别分数的代理。

3 不同任务

• Joint entity and relation extraction: 上一小节。
• Named entity recognition (NER)：上一个任务的特例(仅实体)。
• Relation classification：在文本后面加入“The relationship between [ head ] and [ tail ] is?”表明头尾实体，输入输出格式如下图：
  
• Semantic role labeling (SRL)：在输入中标记谓语，输入输出格式如下图：
  
• Event extraction：先抽取触发词再抽取论元，输入输出格式如下图：
  
• Coreference resolution：对于不是第一次出现的提及，引用第一次出现的提及，输入输出格式如下图：
  
• Dialogue state tracking (DST)：对话前加入“[ user ] :”和“[ agent ] :”，分别表示对话的角色，输出为slot名称和预测的值，“[ belief ]”为生成结束，没有值的生成“not given”，输入输出格式如下图：
  

4 实验

预训练模型为T5-base，全部实验参数一致，除了一些数据库特殊的参数(如最大序列长度)，实验结果如下图：

低资源和消融实验结果：