Bert系列:论文阅读Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline

一句话总结:提出Localized Contrastive Estimation (LCE),来优化检索排序。

摘要

预训练的深度语言模型(LM)在文本检索中表现出色。基于丰富的上下文匹配信息,深度LM微调重新排序器从候选集合中找出更为关联的内容。同时,深度lm也可以用来提高搜索索引,构建更好的召回。当前的reranker方法并不能完全探索到检索结果的效果。因此,本文提出了Localized Contrastive Estimation(LCE)训练重排序模型,从效果上看,显著改进了深度两阶段模型。

方法

训练一个bert模型给query和doc对打分:

其中cls表示bert输出的文本embedding,cls位置的值,将query和doc拼接起来作为整体。Vp是一个projection vector(投影向量,这是什么意思?从何而来?)。
补充:

Vanilla method

它用binary cross entropy 单独算query和doc对的得分。
在这里插入图片描述
该法将这个问题当做了一个二分类的概率问题。文中说:However, reranker is unique in nature; it deals with the very top portion of retriever results, each of which may contain many confounding signatures. 翻译一下,就是排序本身就不是公平的事情,只关注了检索结果的头部部分,可能包含了一些“混淆信息”,就是其实跟query不相关,但是也进入了头部位置。

Localized Contrastive Estimation (LCE)

Contrastive Loss:相对损失,通俗点说, 一个query和doc对,相对全部query和doc对和的大小。
举个例子:一个query:A,跟一堆doc:B、C、D,的loss = /(++)
Bert系列:论文阅读Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline_第1张图片

参考:
1.作者代码:https://github.com/luyug/Reranker
2.论文:https://arxiv.org/abs/2101.08751
3.Vanilla method:

你可能感兴趣的:(nlp,论文阅读,bert,reranker,retrieval)