【论文阅读笔记】Embedding Electronic Health Records for Clinical Information Retrieval

本文是2018.11.13发布于Arxiv上的一篇文章，作者Xing Wei, MSc1, Carsten Eickhoff, PhD。

  本文提出一种医学信息检索的方法。由于医学信息检索的标记数据较少而普通的医学文本数据较丰富，所以文章巧妙的采用了预训练文本和段落的方法。具体内容如下：

     第一步： 先用Word2Vec对生物医学文本，GloVe对维基百科文本进行word Embedding，然后将医学文本分词后根据上一步的词向量将文本转换为embedding Matrix ，通过CNN的卷积和池化获取到单纯使用用Word2Vec和GloV获取不到的文本段落语义信息，CNN网络的最后是预测标记，该预测任务只是为了获得文本或段落的embed vector，因此文中说这一步其实是作为最终的信息检索任务的代理(proxy)。

    第二步：将上一步获取到的文档向量替换信息检索模型DRMM中的词向量，这样检索信息中就包含了语义信息，检索更加精确。训练改进的DRMM模型使用的的采样样本是三元的，包含查询id，和查询相关的文档的id，和查询无关的文档id，损失函数使用hinge loss:

    第三步：在实际检索阶段，只需要分别将查询条件文本和文档库中的文档分别查询embed vector，用余弦相似性得出得分就可以检索出最相关文档。

本文的可取之处：

1、本文的获取文本向量的思想及训练DRMM的思想基本是借鉴了Skip-Gram模型。

2、在标注数据不足时如何使用迁移学习来完成最终的目的。