NLP | 医学AI又一突破，微软开源生物医学NLP基准：BLURB

来源：HyperAI超神经

本文约800字，建议阅读4分钟。

微软团队发布生物医学领域NLP基准，命名为BLURB，已在 arxiv.org 中发布相关论文，并将其开源。

微软的研究团队近日在 arxiv.org 发布了论文：《Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing 生物医学特定领域的语言模型预训练》，介绍并开源了一个能够用于生物医学领域 NLP 基准，并命名为 BLURB。

论文地址：

https://arxiv.org/pdf/2007.15779.pdf

Biomedical Language Understanding and Reasoning Benchmark 的首字母缩写，即为 BLURB 的命名规则，翻译为生物医学语言理解和推理基准。

医学 NLP 基准，BLURB 身负重任

BLURB 包括 13 个公开可用的数据集，涉及 6 个不同的任务。

为了避免偏重多可用数据集的任务，如命名实体识别（NER），BLURB 的报告和排名，将所有任务的宏观平均数作为主要得分。

图为 BLURB 中使用的数据集以及团队列出的训练、开发和测试中的实例数量

BLURB 排行榜是不分模型的。任何能够使用相同的训练和开发数据产生测试预测的系统都可以参与。

团队表示 BLURB 的主要目标是：降低生物医学NLP的准入门槛，帮助加快该领域的进展，能对社会和人类产生积极影响。

生物医学 NLP ：必须使用域内文本

研究已经表明生物医学 NLP 可以在医学领域提高数据集的准确性。但是在跨学科的数据集中，准确性又会大大降低。而由于不同医学领域之间（Domain）跨度较大，所以对于 NLP 的预训练会花费非常多的时间。

微软研究人员为了提升 NLP 的训练速度，通过对预训练和特定任务的微调，对生物医学 NLP 应用的影响进行了建模比较，从而评估最适合的预训练方法。

团队对域内文本与混合域外文本进行的对照

首先，团队创建了一个名为“生物医学语言理解与推理基准”（BLURB）的基准，该基准侧重于 PubMed 提供的出版物，涵盖了相似问题解答和文本提取之类的任务。

实验证明，这种对比的方法能够将 NLP 训练的速度提升数倍。

同时，为了鼓励对生物医学 NLP 的研究，研究人员创建了以 BLURB 基准为基准的排行榜，还开源了预训练模型。以求快速生物医学 NLP 能够早日投入使用。

访问 https://microsoft.github.io/BLURB/ 或点击阅读原文，可访问 BLURB 项目官网。

编辑：黄继彦

校对：杨学俊