论文阅读笔记 | ACL-2022 | 分治文本语义匹配：关键词和意图

原文标题：Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents

原文链接：https://arxiv.org/abs/2203.02898

目录

一、Introduction

二、Methodology

三、Results and Analysis

四、Conclusion

---

一、Introduction

        在做文本语义匹配任务时，通常的做法是添加一个简单的分类目标进行微调，并通过统一处理每个词直接进行文本比较。

        但本文提出了一种分治的办法，即将匹配问题分解为两个子问题:关键字匹配和意图匹配。其中，关键词指的是反映实体或行为的事实信息，要严格匹配；其他内容构成抽象意图，这些抽象意图通常可以用各种表达方式来传达相同的概念或思想。

        具体来说，本文使用了DC Match的方法。首先，给定一对输入文本序列，模型利用远程监督的方法将关键词从意图中分离出来。除了具有全局接受域的标准序列匹配外，模型还将关键字和意图分别进行匹配，以学习不同粒度下的内容匹配方式。最后，我们设计了一个特殊的训练目标，该目标结合了子问题的解决方案，使全局匹配分布(原始问题)和联合关键字意图匹配分布(子问题)之间的 kl 发散最小。

        本文的贡献主要有三个方面：1) 引入了一种新的文本匹配训练机制，它基于不同层次的匹配粒度，以分而治之的方式将关键词从意图中分离出来。2) 方法简单而有效，可以很容易地与预训练模型结合，而不改变其原有的效率。3) 在两种语言的三个基准测试上的实验结果证明了我们的方法在不同方面的有效性。

二、Methodology

        DC-Match训练系统由三个训练目标组成：一是全局匹配模型的分类损失；二是基于远程监督的分类损失，能够学习区分关键词和意图；三是一个特殊的训练目标，遵循分而治之的思想，利用KL散度来确保全局匹配分布(原始问题)以及关键字和意图(子问题)的分布相似。

1、Text Semantic Matching using PLMs

        给定两个语句：Sa = {wa 1 , wa 2 , ..., wa la } 和 Sb = {wb 1 , wb 2 , ..., wb lb }，模型的目标是判断Sa 和 Sb 在语义上是否匹配。通常的做法是将语句Sa和语句Sb直接串联成一个连续的序列Sa,b = [Sa;wsep;Sb]，其中wsep是分隔符，然后输入到PLM编码器。

2、Disentangling Keyword from Intent with Distant Supervision

        现有的大多数预训练模型对于不同的分类任务，如情感分析、文本语义匹配和自然语言推理，通常使用相同的微调范式，并以统一的方式处理文本序列。

        本文在文本语义匹配中引入了一个任务特定的假设，假设每个句子都可以分解为关键词和意图。通过将关键字从意图中分离出来，可以将匹配过程分为两个更容易的子问题，而且它们需要不同级别的匹配粒度。

        由于缺少人工注释的数据，自动分解关键词和意图可能没那么容易。于是本文提出了一种基于远程监督的办法：利用外部知识库中的实体提取原始文本中的关键词，剩下的都作为意图。有了这些弱标签，就能让模型学习如何分解关键词和意图，同时在PLM中两者的表示距离拉远，使得模型能够在不同的匹配层次建模。

3、Divide-and-Conquer Matching Strategy

        这部分将原来的匹配问题分解为关键词匹配和意图匹配两个子问题，随后将两个子问题的解结合起来成为原始问题的解。为了保证全局匹配分布（原始问题）与子问题组合解的分布相似，本文利用双向KL散度损失来最小化两者之间的距离

4、Training and Inference

        在推理时，本文根据原问题的条件概率直接推断出句子对的匹配类别，因为这时关键词和意图的区分标签是不可用的。

三、Results and Analysis

         从实验数据看，本文的提升还是相对比较微弱的。也有可能是因为在文本匹配这一方面预训练模型本来就做得很不错了，能有这样的进步还是很不容易的。

四、Conclusion

        本文利用分治的思想，在训练模型中将文本分为关键词和意图，在不增加计算量的前提下有效提升了匹配效果。这种方法简单直接，且能与各种PLM有效结合。