[论文笔记]Sentence-BERT[v2]

引言

本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记,但不够详细,今天来重新回顾一下。

BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化,将query和多个待比较句子分别拼接成批大小内的样子一次输入,是可以同时计算批大小个样本之间的相似度的,但仍然受限于资源。

本篇工作,作者提出了Sentence-BERT(SBERT),一种预训练BERT网络的修改,利用孪生和三胞胎网络来推导出具有语义信息的句嵌入,这些句嵌入能直接通过余弦相似度比较。

总体介绍

SBERT可以计算出包含语义信息的句向量,可以做到之前BERT不能做的事。比如大规模语义相似度比较、聚类以及基于语义搜索的信息检索。

BERT在语句分类和语句对回归任务上取得了SOTA结果。BERT作为cross-encoder:两个语句拼接在一起传递给transformer网络来预测目标值。然而,这种方式不太适合于数据规模太大的场景。比如要比较n=10000个语句两个之间的结果需要 n ⋅ ( n − 1

你可能感兴趣的:(论文翻译/笔记,#,文本匹配[论文],论文阅读,bert,人工智能,SentenceBERT)