AAAI 2021 | 学习截断信息检索排序列表

©PaperWeekly 原创 · 作者｜金金

单位｜阿里巴巴研究实习生

研究方向｜推荐系统

论文标题：

Learning to Truncate Ranked Lists for Information Retrieval

论文来源：

AAAI 2021

论文链接：

http://www.bigdatalab.ac.cn/~gjf/papers/2021/AAAIa.pdf

简介

本文由中科院发表于 AAAI 2021。排序列表截断在诸如专利搜索或法律搜索之类的各种专业信息检索应用中至关重要。目的是根据用户定义的目标动态确定返回的文档数，以便在结果的总体效用和用户需要付出的精力之间取得平衡。

在这项工作中，作者提出了一个名为 AttnCut 的基于全局决策的截断模型，该模型直接优化了用户定义的目标，用于排序列表截断。具体来说，作者采用 Transformer 架构来捕获排序列表中的全局依存关系以进行截断决策，并采用奖励最大化最大似然（RAML）进行直接优化。

模型

本文的模型采用已经比较的成熟的 Transformer 架构，具体来说，作者首先使用抽取了文档一些列的特征，并使用双向 LSTM 得到每个文本的表示；然后使用注意力机制，进一步捕获全局信息；最后通过多层感知机和 softmax 层输入每篇文档作为截断位置的概率。

在训练阶段，作者使用 RAML 进行训练，具体来说，作者首先定义了输出的分布如下：

在原来的训练方法之中，一般都采用对所有截断错误的样本进行优化，直接采用 MLE 的损失函数如下：

但是这没有考虑输出的全局分布信息，本文作者将输出分布嵌入损失函数中，转而对全局的输出分布进行优化，损失函数如下：

这种损失使本文的模型分布达到了标准化的奖励分布。作者可以直接优化此新的目标分布函数，以学习 AttnCut。可以看到，这种学习标准很容易实现。这也是几乎所有现有排名列表截断模型都采用的通用学习准则。

实验

本文在 Robust04 和 MQ2007 两个数据集上进行实验，首先使用 BM25 和 DRMM 返回结果列表，并和当前 baseline 进行对比，主要考虑返回固定的长度、已有自动截断模型和 ground truth，整体结果来看，本文提出的模型都达到了最好的效果。

在此基础上，作者观察了 RAML 的效果，分别和直接使用 MLE，使用 BiCut 的训练方法和强化学习三种形式进行对比，实验结果发现，本文提出的优化方法可以在现有的模型中取得最好的效果，从而验证了其有效性。

结论

在本文中，作者提出了直接优化用户定义的目标以用于排序列表截断的方法，目的是从全局角度做出最终的截止决策。作者利用 Transformer 架构来捕获排名列表中的长期依赖关系，并采用 RAML 进行模型学习。

实验结果表明，本文的模型可以大大优于最新方法。在将来的工作中，作者计划考虑一些与多样性相关的文档表示函数，以获得更好的文档表示形式，并将模型扩展到实际的检索应用程序，例如移动端搜索。

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：[email protected] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。