从局部到全局：语义相似度的测地线距离

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 追一科技

研究方向 | NLP、神经网络

前段时间在最近的一篇论文《Unsupervised Opinion Summarization Using Approximate Geodesics》[1] 中学到了一个新的概念，叫做“测地线距离（Geodesic Distance）”，感觉有点意思，特来跟大家分享一下。 

对笔者来说，“新”的不是测地线距离概念本身（以前学黎曼几何的时候就已经接触过了），而是语义相似度领域原来也可以巧妙地构造出测地线距离出来，并在某些场景下发挥作用。如果乐意，我们还可以说这是“流形上的语义相似度”，是不是瞬间就高级了不少？

论文梗概

首先，我们简单总结一下原论文的主要内容。顾名思义，论文的主题是摘要，通常我们的无监督摘要是这样做的：假设文章由 n 个句子 组成，给每个句子设计打分函数 （经典的是 tf-idf 及其变体），然后挑出打分最大的若干个句子作为摘要。

当然，论文做的不是简单的摘要，而是“Opinion Summarization”，这个“Opinion”，我们可以理解为实现给定的主题或者中心 c，摘要应该倾向于抽取出与 c 相关的句子，所以打分函数应该还应该跟 c 有关，即 。

自从“万物皆 Embedding”后， 的一种主流设计方式就是将句子 和主题 c 都编码为相应的句向量 ，然后用某种距离的倒数作为打分函数：

在这种设计中，句向量的编码模型 和距离函数 都是可设计的空间。原论文在 和 上都做了一些工作，其中 不是本文关心的内容，暂且略过，有兴趣的读者自行看原论文。至于论文在 上的贡献，就是将常见的简单距离，换成了本文的主题“测地线距离”。

原理分析

为什么要用到测地线距离？这要从我们训练句向量的方案说起。

学习句向量的方式既可以是有监督的，也可以是无监督的。以有监督为例，一般就是正样本对和负样本对做对比学习（参考《CoSENT：比Sentence-BERT更有效的句向量方案》），正样本对就是标记出两个语义基本相同的句子，我们可以认为它们相似度很高，或者距离很小。

问题出在负样本对，作为两个语义不相同的句子，它们可能是特意标记出来的困难样本，也可能是随机挑出来的两个不相关样本，原则上这两种情况应当赋予不同的距离，但实际都只是标记了同一个标签，即“负”。

这就导致了一个结果，我们用句向量算出来的距离数值，理论上是对语义比较相近的句子才比较准确，对于语义差距比较大的句子，距离数值只能够用来区分出正负样本，但不能在邻近范围内做比较。举个例子，我们可以说距离为 1 的比距离为 2 的更相似，也可以说距离为 1 的比距离为 10 的更相似，但没法说距离为 10 的比距离为 11 的更相似，因为距离大了，其绝对数值就不准了。

检索场景下，通常要召回相似度很高（也就是距离很小）的样本，因此直接用简单的距离函数 去检索就行。但是，对于原论文的“Opinion Summarization”场景，要计算的是句子 与主题 c 的距离 ，“句子”与“主题”的相似度就未必很大了（距离偏大），也就是说，它是要在距离相似度偏大的区间做相对比较，这就适合用到测地线距离了。

测地距离

测地线距离，简单来说就是两点之间的最短距离，由于流形未必是平直的，因此该距离未必是两点之间的直线距离（欧式距离），经典例子就是从地球的南极走到北极，我们没法穿过地心走直线，只能沿着地球表面先走到赤道然后再走到南极，走了一条曲线（半圆）距离。 

在局部范围内（此时距离比较小），地球还是平的，所以欧式距离还是可用的，但是放到“南极-北极”、“南极-赤道”这样的大距离就不够准确了，这就跟刚才的语义相似度场景很相似了——已知的距离（比如欧式距离）在近距离内比较准确，在远距离不准确，本质上就是因为流形不是平直的。 

幸运的是，有局部距离就够了，我们将其转化为一个图的问题，可以利用“最短路径”的算法估算出近似的测地线距离。

具体来说，我们可以用现有的距离函数算出每个点与剩余点的距离，然后只保留距离最近的 k 个点（也可以按阈值截断，看具体情况），在它们之间连一条边并标记上距离，这样一来所有点和边构成了一个加权图（我们称之为“k 邻近图”），我们就可以用 Dijkstra 算法来搜索出图上任意两点的最短路径，并计算出它的长度，这就是测地线距离的近似结果。 

总的来说，在“相近点的距离比较准、较远点的距离比较不准”的假设下，我们可以 k 邻近图加最短路径的方法，估算较远点的测地线距离来作为替代品。由于测地线距离考虑了向量空间的流形状况，所以有可能取得比较好的效果（参考原论文的 Table 8）。

参考文献

[1] https://arxiv.org/abs/2209.07496

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·