[论文笔记]E5

引言

今天又带来一篇文本匹配/文本嵌入的笔记：Text Embeddings by Weakly-Supervised Contrastive Pre-training。中文题目是 基于弱监督对比预训练计算文本嵌入。

本篇工作提出了E5模型(EmbEddings from bidirEctional Encoder rEpresentations)。该模型以带弱监督信号的对比学习方式训练的。

总体介绍

文本嵌入是任意长度文本的低维(稠密)向量表示，在许多自然语言处理任务中起着关键作用，如大规模检索。尽管预训练语言模型像BERT和GPT可以产生科迁移的文本表示，但对于检索和文本匹配等任务来说，更希望得到单一向量嵌入的效率和多功能性更高。为了获得更好的文本嵌入，对比学习通常是增强文本对的序列级的首选框架。比如，GTR¹和Sentence-T5²使用监督数据集微调预训练模型，分别学习用于段落检索和语义文本相似的嵌入。

在本篇工作，作者学习一个高质量通用文本嵌入，称为E5。E5旨在提供强大的现成文本嵌入，适用于任何需要单一向量表示的任务，无论是零样本还是微调设置。为了完成这个目标，E5不依赖有限的标签数据或低质量的合成文本对，而是从CCPairs中对比训练嵌入。

作者选择一个简单对比学习方法ÿ