Keyphrase Extraction+Sentence pairs相关论文
这里写目录标题
-
- Keyphrase Extraction任务
- Open-Retrieval Conversational Question Answering
-
-
- 现有数据集情况
- 数据集构建上，
- 训练过程
- 数据集统计信息
-
- UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction
-
- 流程：
- encoder：
- 交互层
- 任务层
- 我较为感兴趣的：
- Multiway Attention Networks for Modeling Sentence Pairs
Keyphrase Extraction任务
Keyphrase Prediction (KP) task aims at predicting several keyphrases that can summarize the main idea of the given document
Main stream KP methods can be categorized into purely generative approaches and integrated models with extraction and generation.
- extraction任务范式：Two-step extraction methods first identify a set of candidate phrases from the document by heuristics, such as essential n-grams or noun phrase (Hulth, 2003). Then, the candidate keyphrases are sorted and ranked to get predicted results.
- generation任务范式：copyRNN 等范式。
- extractiion和generation组合范式。
关键词预测对于许多下游 NLP 任务很有用，例如摘要（Wang 和 Cardie，2013；Pasunuru 和 Bansal，2018）、文档聚类（Hulth 和 Megyesi，2006）、信息检索（Kim 等， 2013）。
从文中抽取出文章的关键词，关键词根据是否在文章中出现，可以分为，在文章中和不在文章中。
Bi-LSTM-CRF Sequence Labeling for Keyphrase Extraction from
Scholarly Documents——2019——价值不高。
研究 Bi-LSTM-CRF 在文档和句子级别的性能，并表明捕获更广泛上下文的文档级别模型比句子级别模型更准确。（就是用Bi-LSTM-CRF 模型实现了文章的关键词抽取）
统计信息：
Open-Retrieval Conversational Question Answering
多模态信息检索，推荐过来读的。
也是包含了数据集的创建和开放信息检索两部分内容，信息检索建立了端到端系统，其中包含一个检索器、一个重新排序器和一个读取器，它们都基于 Trans 转换器
现有数据集情况
数据集构建上，
OR-QuAC 数据集通过使其适应开放检索设置来增强 QuAC。它是三个现有数据集的集合：(1) 提供信息搜索对话的 QuAC 数据集 [6]，(2) 由与上下文无关的 QuAC 问题重写组成的 CANARD 数据集 [15]，以及 (3)作为回答问题的知识来源的维基百科语料库。
训练过程
训练过程包含两个阶段，检索器的预训练阶段和所有系统组件的并发学习阶段。具体来说，我们的检索器采用了双编码器架构 [1, 11, 21, 26]，它使用单独的 ALBERT [24] 编码器来处理问题和段落。问题编码器还对对话历史进行编码。预训练后，段落编码器被冻结并离线编码集合中的所有段落。 reranker 和 reader 共享相同的 BERT [12] 编码器
图 2：我们的端到端 ORConvQA 模型的架构。输入是当前问题 qk 、所有历史问题 {qi } k−1 i=1 和历史窗口大小 w。检索器首先从集合中检索前 K 个相关段落并生成检索器分数 Sr t 。重新排序器和阅读器然后重新排序并阅读顶部段落，以生成每个段落的答案跨度，并生成重新排序器和阅读器分数 Sr r 和 Sr d 。系统输出总分 S 最高的答案跨度。
（1、2、3表示不同的loss函数。）
数据集统计信息
UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction
present keyphrase extraction(PKE) :文中存在的keyphrase
absent keyphrase generation (AKG)：文中缺席的keyphase
通过将当前和不存在的关键短语预测视为不同的任务，集成方法清楚地区分了这两种关键短语的语义属性。
为了解决这些问题，我们提出了一种新颖的端到端联合模型 UniKeyphrase，它采用统一的预训练语言模型作为主干，并针对 PKE 和 AKG 任务进行了微调。
流程：
将存在于doc中的phrase和不在doc中phrase分为两个子任务，前者为分类任务，后者为生成任务。
整个过程分为3个部分，encoder，交互层，任务层。
encoder：
采用UNILM预训练模型，编码。
具体操作，对于一篇文档，将absent 短语加在document后边，组成一个序列，然后，随机选择absent中的token，做mask。
输入序列的样式为：I = {[CLS] X [SEP] Kma[SEP]}
通过UNILM得到hidden state。
交互层
为了让两个子任务之间有交互，采用SRL。具体来说，就是通过注意力机制建立交互。
假设，P和A分别表示present和absent的任务hidden state。
用于两个子任务的hidden state的计算方式，如下：
P0 = A0 = {h1, …,hT }
LN表示layer Norm。 P ∗ A T 表示注意力分值 P*A^T表示注意力分值 P∗AT表示注意力分值
任务层
不同的hidden表示用于不同的任务。
但为了约束生成的质量，提出，使用Bag of words (BoW)作为约束。
我们计算模型预测的关键短语 BoW 和基本事实关键短语 BoW 之间的差距，然后将其添加到损失中。
对于PKE ,present，计算公式：
yip表示在时间i时，所有预测的label的概率
对于AKG任务，absent,计算公式：
yia:生成概率
损失计算公式为：
MSE：
在实践中，我们以对数方式将 BWC 的权重从零增加到定义的最大值 wm，BWC 在 t 步上的权重可以表示如下：
我较为感兴趣的：
SEG-Net, a neural
keyphrase generation model that is composed of a
selector for selecting the salient sentences in a document, and an extractor-generator that extracts and generates keyphrases from the selected sentences.
不过看起来，感觉文章一般般
Select, extract and generate: Neural keyphrase generation with syntactic guida
Multiway Attention Networks for Modeling Sentence Pairs
句子对的关系分类问题，提出了几种不同的注意力机制应用时的效果。
