从局部到全局:语义相似度的测地线距离

从局部到全局:语义相似度的测地线距离_第1张图片

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 追一科技

研究方向 | NLP、神经网络

前段时间在最近的一篇论文《Unsupervised Opinion Summarization Using Approximate Geodesics》[1] 中学到了一个新的概念,叫做“测地线距离(Geodesic Distance)”,感觉有点意思,特来跟大家分享一下。 

对笔者来说,“新”的不是测地线距离概念本身(以前学黎曼几何的时候就已经接触过了),而是语义相似度领域原来也可以巧妙地构造出测地线距离出来,并在某些场景下发挥作用。如果乐意,我们还可以说这是“流形上的语义相似度”,是不是瞬间就高级了不少?

ea2e13f35848b4e277a7551416824222.png

论文梗概

首先,我们简单总结一下原论文的主要内容。顾名思义,论文的主题是摘要,通常我们的无监督摘要是这样做的:假设文章由 n 个句子 组成,给每个句子设计打分函数 (经典的是 tf-idf 及其变体),然后挑出打分最大的若干个句子作为摘要。

当然,论文做的不是简单的摘要,而是“Opinion Summarization”,这个“Opinion”,我们可以理解为实现给定的主题或者中心 c,摘要应该倾向于抽取出与 c 相关的句子,所以打分函数应该还应该跟 c 有关,即 。

自从“万物皆 Embedding”后, 的一种主流设计方式就是将句子 和主题 c 都编码为相应的句向量 ,然后用某种距离的倒数作为打分函数:

4e58f55a7928c9bcc877712effb2dbb4.png

在这种设计中,句向量的编码模型 和距离函数 都是可设计的空间。原论文在 和 上都做了一些工作,其中 不是本文关心的内容,暂且略过,有兴趣的读者自行看原论文。至于论文在 上的贡献,就是将常见的简单距离,换成了本文的主题“测地线距离”。

ef058efb2327d772cc9e1436d0d64871.png

原理分析

为什么要用到测地线距离?这要从我们训练句向量的方案说起。

学习句向量的方式既可以是有监督的,也可以是无监督的。以有监督为例,一般就是正样本对和负样本对做对比学习(参考《CoSENT:比Sentence-BERT更有效的句向量方案》),正样本对就是标记出两个语义基本相同的句子,我们可以认为它们相似度很高,或者距离很小。

问题出在负样本对,作为两个语义不相同的句子,它们可能是特意标记出来的困难样本,也可能是随机挑出来的两个不相关样本,原则上这两种情况应当赋予不同的距离,但实际都只是标记了同一个标签,即“负”。

这就导致了一个结果,我们用句向量算出来的距离数值,理论上是对语义比较相近的句子才比较准确,对于语义差距比较大的句子,距离数值只能够用来区分出正负样本,但不能在邻近范围内做比较。举个例子,我们可以说距离为 1 的比距离为 2 的更相似,也可以说距离为 1 的比距离为 10 的更相似,但没法说距离为 10 的比距离为 11 的更相似,因为距离大了,其绝对数值就不准了。

检索场景下,通常要召回相似度很高(也就是距离很小)的样本,因此直接用简单的距离函数 去检索就行。但是,对于原论文的“Opinion Summarization”场景,要计算的是句子 与主题 c 的距离 ,“句子”与“主题”的相似度就未必很大了(距离偏大),也就是说,它是要在距离相似度偏大的区间做相对比较,这就适合用到测地线距离了。

651f4c6605a98c91b1ee87271154891e.png

测地距离

测地线距离,简单来说就是两点之间的最短距离,由于流形未必是平直的,因此该距离未必是两点之间的直线距离(欧式距离),经典例子就是从地球的南极走到北极,我们没法穿过地心走直线,只能沿着地球表面先走到赤道然后再走到南极,走了一条曲线(半圆)距离。 

在局部范围内(此时距离比较小),地球还是平的,所以欧式距离还是可用的,但是放到“南极-北极”、“南极-赤道”这样的大距离就不够准确了,这就跟刚才的语义相似度场景很相似了——已知的距离(比如欧式距离)在近距离内比较准确,在远距离不准确,本质上就是因为流形不是平直的。 

幸运的是,有局部距离就够了,我们将其转化为一个图的问题,可以利用“最短路径”的算法估算出近似的测地线距离。

具体来说,我们可以用现有的距离函数算出每个点与剩余点的距离,然后只保留距离最近的 k 个点(也可以按阈值截断,看具体情况),在它们之间连一条边并标记上距离,这样一来所有点和边构成了一个加权图(我们称之为“k 邻近图”),我们就可以用 Dijkstra 算法来搜索出图上任意两点的最短路径,并计算出它的长度,这就是测地线距离的近似结果。 

总的来说,在“相近点的距离比较准、较远点的距离比较不准”的假设下,我们可以 k 邻近图加最短路径的方法,估算较远点的测地线距离来作为替代品。由于测地线距离考虑了向量空间的流形状况,所以有可能取得比较好的效果(参考原论文的 Table 8)。

outside_default.png

参考文献

outside_default.png

[1] https://arxiv.org/abs/2209.07496

更多阅读

从局部到全局:语义相似度的测地线距离_第2张图片

从局部到全局:语义相似度的测地线距离_第3张图片

从局部到全局:语义相似度的测地线距离_第4张图片

3b61130e697177f21e8397b9a9ede311.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

从局部到全局:语义相似度的测地线距离_第5张图片

△长按添加PaperWeekly小编

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

1e68910087b9a322ec8943fcbb965529.jpeg

你可能感兴趣的:(从局部到全局:语义相似度的测地线距离)