「自然语言处理（NLP）论文解读」临床文本结构问答（QA-CTS）

来源：AINLPer微信公众号
编辑: ShuYini
校稿: ShuYini
时间: 2019-8-26

引言

最近因读者要求，所以打算挑选一些和医疗相关的文章和大家分享，但是因为不可抗力只找到了一篇，（ps：医疗相关的文章真心不好找），所以今天只有一篇文章和大家分享，该文和临床医疗问答相关的，其主要针对端到端特定任务模型和管道模型的弊端（缺乏数据集和误传播），提出一种基于临床文本结构（QA-CTS）的问答模型。

First Blood

TILE: Question Answering based Clinical Text Structuring Using Pre-trained Language Model。
Contributor : 华东理工大学
Paper: https://arxiv.org/pdf/1908.06606v1.pdf
Code: None

文章摘要

临床文本结构是临床研究的一项重要基础性工作。传统的方法，比如端到端特定任务模型以及管道模型，往往会存在缺乏数据集和误传播的情况。为此本文提出了一种基于临床文本结构(QA-CTS)的问答，来统一不同的具体任务并使数据集共享。针对QA-CTS任务，提出了一种新的模型，旨在将领域特征（如临床命名实体信息）引入到预训练语言模型中。根据瑞金医院中国病理报告的实验结果，发现本文提出的QA-CTS任务对于提高具体任务的性能是非常有效的。

本文两大看点

1、提出了一种基于临床文本结构(QA-CTS)的问答任务，它统一了不同的特定任务，使数据集共享。提出了一种将临床命名实体信息集成到预训练语言模型中的有效模型。
2、实验结果表明，由于数据集的共享，QA-CTS任务性能得到了显著改善。提出的模型也比强基线方法获得了更好的性能。

QA-CTS

一般来说，研究人员分两步解决CTS问题。首先，选择与答案相关的文本。然后采用实体名称转换和否定词识别等步骤生成最终答案。虽然最终答案因任务而异，这确实会导致输出格式不一致，但在所有任务中，查找与答案相关的文本是一个常见的操作。传统的方法把这两个步骤作为一个整体来考虑，在本文中，我们重点在段落文本X中寻找与答案相关的子串。例如给定一个句子“远端胃切除标本：小弯长11.5cm，大弯长17.0cm。距上切端6.0cm、下切端8.0cm”和问题“上切缘距离”，那么答案应该是6.0cm，它在句中对应的索引为32到37。通过这样的定义，统一了CTS任务的输出格式，使得训练数据可以共享，从而降低了对训练数据量的要求。由于BERT已经证明了共享模型的有效性，我们假设提取该问题的共性，统一输出格式，将使该模型比专用模型更强大，同时对于特定的临床任务，可以将数据作为补充数据用于其他任务上。

QA-CTS Model

提出了一种有效的基于临床文本结构(QA-CTS)的问答模型。

如上图所示，首先将段落文本X传递给临床命名实体识别(CNER)模型，获取命名实体信息，并通过BIEOS (Begin, Inside, End, Outside, Single)标签方案为查询文本和段落文本获取one-hot CNER输出标签序列。

句子文本和查询文本的上下文表示
对于任何临床自由文本的段落X和查询Q，上下文表示都要生成它们的编码向量。在这里，我们使用预先训练好的语言模型BERTbase[27]模型来捕获上下文信息。
临床命名实体信息
由于BERT是在通用语料库上进行训练的，引入生物医学领域特有的特征可以提高其在生物医学领域的性能。本文将临床命名实体信息引入模型。
积分法
第一个方法是将它们连接在一起，因为它们具有具有公共维度的序列输出。第二种方法是将它们转换为一个新的隐藏表示。
最终预测
最后一个步骤是使用集成表示H_i来预测与答案相关的文本的开始和结束索引。在这里，我们将这个计算问题定义为每个单词作为开始或结束单词的分类。
两步训练机制
在细粒度视觉识别[32]-[34]中，双线性模型采用了两阶段训练机制。受此启发，由于BERT模型中参数较多，为了加快训练过程，我们首先对BERT模型进行微调，加入新的预测层，以获得更好的上下文化表示性能。然后，我们部署所提出的模型并加载微调的BERT权重，附加命名实体信息层并对模型进行再训练。

实验结果

BERT与本文模型之间的比较结果

本文模型的不同参数比较结果

不同积分方法的结果比较

数据集成分析的比较结果（没有两步训练机制以及实体信息）

数据集成分析的比较结果（加入两步训练机制以及实体信息）

ACED

Attention

更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。