2020, Q1(Expert Syste), A novel method based on sr for interpretable semantic similarity measurement

---

ABSTRACT

自动度量文本表达式之间语义相似程度的问题是一个挑战，即根据人们的判断，计算两个没有或很少有共同特征的文本片段之间的相似程度。近年来，一些机器学习方法已经能够在准确性方面建立一个新的最先进的状态，但没有或很少关注它们的可解释性，即最终用户能够在多大程度上理解这些方法输出的原因。虽然这种基于符号回归的解决方案在聚类领域已经存在，但我们在这里提出了一种新的方法，在语义文本相似的情况下，能够在不牺牲准确性的情况下达到较高的可解释性。在使用几个基准数据集进行了完整的实证评估后，表明我们的方法在广泛的场景中产生了有希望的结果。

我们致力于工作在符号回归的框架下，它允许计算从现有的和可解释的语义相似性度量中得到的最适合给定输入数据集的数学函数。这是可能的，因为符号回归允许通过进化学习过程来学习和优化最佳AST的计算。这个过程可以确保得到的模型以一种从人的角度可以理解的方式揭示数据的底层结构。

我们已经证明，深度学习模型可以达到很高的准确率，但牺牲了高抽象性。然而，在遗传编程的工作中，符号回归负责进化个体的种群，这些个体代表了方程、函数或数学模型，并被显著地用于提高聚类解的可解释性，以改善无法轻易根据给定数据集的特定属性调整的相似性度量。在这项工作中，我们使用了类似的方法，但面向语义相似性度量的系统聚合。获得的结果是非常有前途的，因为它取决于人类最终用户决定什么样的配置在准确性和简单性方面能更好地满足他们的需求。此外，将生成的模型自动导出到C、C + +、Java、Python等多种真实编程语言中后再投入生产也是件微不足道的事情。

正如在整个这项工作中可以注意到的，在背景中计划的问题是，模型的选举不仅仅是一个通过设计越来越复杂的模型来获得一些精度的问题。同样重要的是，假设模型的可解释性等方面与准确性同样重要，以便人们可以采用新的语义相似性方法。

1. Introduction

处理人类语言看起来是一个非常简单和直观的活动，因为人们每天都在做，但这对机器来说是一个困难的挑战。原因在于，人类语言中充斥着使理解变得十分复杂的现象：一词多义、反语、讽刺、双重意义、释义等。但在所有这些现象中，有一个现象因其在现代计算机科学中的大量应用而脱颖而出：语义相似或相似。能够自动计算两个文本表达式的语义相似度，在计算机科学的许多领域都有应用，从数据集成到自动翻译，通过语义搜索、自然语言建模、查询扩展、文档分类或问答等领域。

事实是，当我们谈论人类语言时，更具体地说，当我们谈论人类书面语或文字时，我们可以观察到文字信息在许多方面是相似的：它们可以有相似的结构，讨论相似的话题，甚至表达相似的想法。但是如果我们坚持纯客观的标准，我们就会发现文本信息可以通过三种方式相似：词汇、句法或语义。如果表示信息的文本包含相似的字符序列，则两个文本信息在词汇上是相似的。相同的片段如果呈现相同的结构，在句法上可以相似。最后但并非最不重要的是，如果这些片段指的是相同的概念，那么它们在语义上是相似的，不管它们是否共享相同的字符串序列或结构。

人们普遍认为，评估文本表达式的词汇和句法相似性是已经被深入研究的问题，它们随后成为信息检索和文本分类中开发广泛解决方案的基础。现有的方法在处理种类繁多的用例时相当准确，并且产生了良好的效果。然而，这些方法对于语义相似度的度量并不理想，因为无论是表征还是结构通常都不能提供关于文本表达式意义的线索。

因此，寻找一对文本表达式之间的语义相似度引起了很长一段时间的研究兴趣。使问题变得困难的是，一个文本表达式的意义不仅取决于其中的单词，还取决于它们被使用它们的人所感知的方式。为了克服这一难题，许多方法、资源和标准化技术被提出。即使是最近的方法也是基于已经能够实现的强大的深度学习模型实现性能良好的(Potash, Boag, Romanov, Ramanishka, & Rumshisky, 2016).。然而，迄今为止，研究人员很少关注可解释性，即从结果模型中输出的结果能够被人理解的程度。在此背景下，使用基于符号回归的方法来提高现有解决方案的可解释性是值得关注的(Lensen, Xue, & Zhang, 2019)。在这项工作中，我们旨在探索此类技术在语义文本相似度领域的应用。

因此，大量的方法解决了评估语义相似性的挑战，但没有考虑到解决方案不仅必须准确，而且必须能够被使用它们的人理解。因此，开发其结果能够被人们解释的计算解决方案是一个根本性的挑战。为此，我们在这里提出我们的工作来提高语义文本相似度领域的可解释性。这项工作的主要亮点是：

• 贡献 1：提出了一种新颖的方法，在解决语义相似问题时，依靠符号回归来专门提高更高的可解释性。
  • 贡献 1.1. 该建议能够妥善处理准确性和可解释性之间的权衡。
  • 贡献 1.2. 从提出的方法获得的结果可以自动导出到各种真实的编程语言：C，C + +，Java，Python等。
• 贡献 2：我们的方法在多个领域测试的基准数据集上的评估，从非常一般到非常具体，以及与最先进方法的比较。
  • 贡献 2.1。我们的建议产生了非常高质量的结果，与现有最好的方法获得的结果相当。
  • 贡献 2.2 .我们提出的方法得到的结果是迄今为止在语义相似度领域中提出的最具有解释力的。

本文的其余部分安排如下：第2节概述了文本信息上语义相似性度量的研究现状。第三节介绍了我们在提高可解释性的同时不损害准确性的贡献。第四节介绍了我们的符号回归方法的评估，与现有文献中的方法进行了比较，并对取得的结果进行了深入分析。最后，我们在第5节中评论了本文工作的主要结论和未来可能的研究方向。

2. State-of-the-art

自动测量语义相似性的问题被广泛认为是一个研究挑战，它试图解决人工智能的一个方面，即让计算机以自然的方式与人交流：相似性的评估。事实上，给定两个文本片段，知道两者是否具有相似的意义对于促进信息交流至关重要。此外，人们普遍认为检测语义文本相似度并不是一项最终任务，而是解决更多具体任务的中间过程。获取两个文本之间的语义相似度不仅提供了它们之间存在的相似度的概念，而且还提供了根据得到的结果做出决策的信息。

因此，自动确定两个文本表达式之间的语义相似度是一个重要的研究挑战，即通过分析它们来计算它们的相似度。然而，相似性并不总是在二元基础上进行判断。但是它有各种各样的中间阶段(middle tones)，这使得任务特别复杂。为此，现有的语义相似度方法旨在自动评估数值范围(e.g. [ 0,1 ] , { 0,1,2,3,4 }等.)内文本片段之间的相似度，每个结果以易于理解的方式表示使两个文本片段等价或不等价的差异(Lastra-Díaz, García-Serrano, Batet, Fernández, & Chirigati, 2017).

在计算机科学的背景下，语义相似度的一些方法多年来在自然语言理解和文本检索等领域有着非常重要的应用。时至今日，已经有相当庞大且不断增长的学术研究基于一些不同的方法：统计共现)(statistical co-occurrence)(Bollegala, Matsuo, & Ishizuka, 2011)，词袋(bag-of-words)(Clinchant & Perronnin, 2013)，TF-IDFs (Albitar, Fournier, & Espinasse, 2014),，词网(WordNet)(Seco, Veale, & Hayes, 2004)，PLSI Hofmann, 1999，NMF Lee and Seung，1999，甚至是语言学家和领域专家为创建同义词表、分类法、层次结构、知识库或本体( Resnik , 1999)所做的一贯正确但非常昂贵的手工工作。最近，许多与语义相似性度量相关的任务已经开始依赖使用词向量( Mikolov , Sutskever , Chen ,科拉多, & Dean , 2013)作为底层表示来解决它们的问题，并且这个研究分支花费了很少的时间来脱颖而出，因为获得的第一个结果真的很好。

对此，相关研究领域建立了不同语义相似度度量所依赖的分类来计算语义相似度。分类的基础是词语相似度，因为在句子、段落或完整文档等更复杂的场景中，找到词语之间的语义相似度是检测多种语义文本相似度的第一步，也是最基本的一步。这种分类由两种不同的模型组成：几何模型和Tversky模型。

2.1. The geometric model

几何模型(Deza & Deza, 2009)与度量空间$<X,\delta >$中的实体一起工作，其中每个实体用 $x\in X$, 并且$\delta (a,b)$表示实体$a$与其他实体$b$之间的距离。这个距离是$X$上的函数，返回一个非负数，所以这个数越少，语义相似度越大。在一个几何空间中，对于所有的点$a,b,c\in X$度量的三个公理总是满足的：极小性(minimality)、对称性(symmetry)和三角不等式(triangular inequality)：

• Minimality: $\delta (a,b)\ge \delta (a,a)=0$
• symmetry: $\delta (a,b)=\delta (b,a)$
• Triangular inequality: $\delta (a,b)+\delta (b,c)\ge \delta (a,c)$

2.2. Tversky model

Tversky (1977) 提出利用集合理论计算两个实体的相似度。该相似度模型基于被比较实体的特征。相似度 $sim(a,b)$ 是使用一个函数来计算的，该函数比较了共享$a$和$b$的特征，并考虑了仅在$a$和仅在$b$中的特征，因此：

因此，那些能够区分这两个实体的要素就是被考虑的要素。

传统上，几何方法一直比较流行。虽然，在最近的时间里，Tversky’s的方法因为更适合学习相似性而获得了大量的流行。之所以这样解释，是因为潜在的问题是两个文本片段之间的相似性往往被认为是主观的。因此，大多数现有的解决方案都试图学习适应即将投入系统的用户的口味。通过自动学习对相似性度量及其归纳的定义被称为相似性学习，它由通过一组数据(过去解决的案例或背景真相)寻找通过学习提高相似性的模型，使学习到的模型满足相似性约束并通过评估某些标准来改善结果，进而得出语义相似性的单一结果。在接下来的小节中，我们概述了现有的语义相似度聚合方法。

2.3. Similarity aggregation methods

已经有一些工作从数据分析的角度解释了语义相似度模型的使用。这些工作中，大多数是将待分析数据上的不同语义相似性度量的结果作为输入，然后应用一个学习过程，目的是定义一个语义相似性函数来改进上述每个输入度量的结果。目前最优秀的方法有回归分析、集成学习、深度学习、模糊学习等。

2.3.1. Regression analysis

回归分析是一种能够计算不同语义相似度度量之间函数关系的直接方法。该关系表示为一个数学表达式，将最终结果和几个输入语义相似性度量(Greiner, Proisl, Evert, & Kabashi, 2013).联系起来。这意味着回归分析试图根据其他语义相似度度量的已知值来预测最终的语义相似度得分。在此背景下，回归分析有线性回归(Chaves-González & Martinez-Gila, 2013)、N-Gram回归(Malandrakis, Iosif, & Potamianos, 2012)、支持向量回归(Croce, Annesi, Storch, & Basili, 2012)等不同类型。一般来说，通过回归分析得到的结果通常很容易被人类解释，因此它们通常被用作可解释的模型。然而，它们的精度与目前的先进水平相去甚远。

2.3.2. Ensemble learning

在集成学习方面，通常的目标是使用多种学习算法来获得比单独使用任何一种相似性学习算法(Rychalska, Pakulska, Chodorowska, Walczak, & Andruszkiewicz, 2016).更好的性能。与传统方法试图从训练数据中学习一个假设不同，集成方法试图构建一组假设并巧妙地将它们结合起来。这些方法的成功依赖于这样的想法，即学习机制可以促进弱的语义相似性度量方法，这些方法略优于随机猜测，以构建一个强大的语义相似性预测器(Potash et al., 2016).

2.3.3. Deep learning

在深度学习方面，目标是构建包含多个神经元层的人工神经网络，以大幅提高现有方法(Afzal, Wang, & Liu, 2016)的学习能力。近年来，自然语言处理研究取得了突飞猛进的发展，尤其是文本信息(Lan & Xu, 2018)的抽象表示学习。在此背景下，深度学习技术被成功应用于解决计算机视觉和计算感知的诸多问题，并且以非常特殊的方式，该领域的研究已显示出深度神经网络有效性，结合词向量表示，预测词语的语义相似度(Faruqui & Dyer, 2014)，多语种相似度(Bojanowski, Grave, Joulin, & Mikolov, 2017)，短句的语义相似度(Nguyen, Duong, & Cambria, 2019).。此外，这些已经存在的解可以通过使用线性组合来改进，如Lastra-Díaz et al. (2019)所示。然而，尽管取得了不错的效果，但在这种情况下，缺乏可解释性一直是一个限制因素，需要对投入开发的模型中涉及的特征进行适当的解释。

2.3.4. Fuzzy learning

迄今为止，模糊学习一直是为数不多的达到高水平可解释性的尝试之一。在我们之前的工作中，我们已经证明了语义相似度聚合可以定义为一个问题，在这个问题中，每个单独的结果都可以使用一个模糊控制器进行满意的聚合。例如，如果原子方法可能被聚合，CoTO(Martinez-Gil, 2016)可以显著提高准确性和可解释性，但在可能达成共识的情况下，CoTO不能反映相互对立的建议，或者在无法达成共识的情况下，通过计算它们之间的最佳权衡，CoTO可以显著提高准确性和可解释性。

迄今为止，模糊学习一直是为数不多的达到高水平可解释性的尝试之一。在我们之前的工作中，我们已经证明了语义相似度聚合可以定义为一个问题，在这个问题中，每个单独的结果都可以使用一个模糊控制器进行满意的聚合。例如，如果原子方法可能被聚合，CoTO(Martinez-Gil, 2016)可以显著提高准确性和可解释性，但在可能达成共识的情况下，CoTO不能反映相互对立的建议，或者在无法达成共识的情况下，CoTO可以通过计算它们之间的最佳折衷来实现。或者最新的语义相似度控制器能够处理相似度值，以便通过一个复杂的，但人类可以理解的模糊聚合方法(MartinezGil & Chaves-González, 2019).来计算一个准确的分数。指导该分支中所有研究的关键是基于这样的想法，即如果结果可能达到良好的可解释性水平

2.4. The problem of the interpretability

我们已经看到，也许实现可解释性的最简单方法是使用能够构建可解释模型的聚合策略，如回归分析。然而，这种策略所取得的结果与最先进的方法相去甚远。目前能够取得最好效果的方法依赖于庞大的节点网络来获取词嵌入。例如，这种语义相似度的计算往往是通过先嵌入大型文本语料库得到与每个单词相关的词向量，然后计算它们之间的余弦相似度。然而，这可能很难被一个人理解，因为词向量被设计为由神经网络处理，而不是由一个人(Lipton, 2018)。

人们普遍认为，结果模型的可解释性越高，人们就越容易理解所取得的结果。由此可以得出结论，如果结果更容易让人理解来自不同模型的结果，那么产生的模型比不同的模型更具有可解释性。在我们之前的工作中，我们能够证明基于模糊规则的模型可以在不惩罚精度的情况下达到很好的可解释性水平。但仍有许多作者认为，模糊规则模型只需要模糊专家就可以很容易地解释。这些作者中的许多人声称把模糊等同于语言，把语言等同于可解释性过于简单。

基于所有这些原因，人类的可解释性有三种不同的方法：应用级、人类级和功能级(Doshi-Velez & Kim, 2017)，这是值得去看和反思的。而模糊规则学习可能不满足这3个可解释性水平。因此，完整的可解释性证明需要从以下三个层面进行成功的评价。

• Application level interpretability 应用级可解释性是需要领域专家充分理解方法工作原理的程度。因此，在这种情况下需要合适的实验设置和很好地理解如何衡量质量，因此，一个合适的基线可以包括确定专家对同一决策的解释能力。
• Human level intepretability 人类水平的可解释性是一种简化的应用级评价，因为它不需要任何专家，而是一个普通用户。这便于进行实验，因为它应该很容易找到更多的人来测试该方法。这个层次的一个可能的例子是向用户展示不同的解释，这样用户就可以找到最合适的解释。
• Function level interpretability 功能层面的可解释性不涉及人为干预。当事先假定所使用的结果模型具有高度可解释性时，这种可解释性效果更好，例如，可以假定人们能够理解决策树。在这种情况下，达到这个水平的一个好的基线可能是关注决策树的大小，这样较小的树更有可能与更好的可解释性评分相关联。

虽然模糊学习在应用层面可以提供良好的可解释性，但我们的目标是更进一步。因此，在这项工作中，我们追求在应用层面、人类层面和功能层面同时达到高水平的可解释性。论文的其余部分解释了我们实现这一目标的建议。

2.5. Novelty of our contribution

符号回归是遗传规划的一种应用，与传统的回归方法有着相同的目标。但与这些传统方法不同的是，它能够以较少的限制(Kommenda, Affenzeller, Burlacu, Kronberger, & Winkler, 2014)进行操作。符号回归是众所周知的用于函数识别和学习的最常用的方法之一。它是通过寻找一个符号形式的数学表达式来描述一个因变量与一个或多个自变量之间的数学关系，以尽可能高的准确性。其思想是从一组输入值中自动构建结果模型，能够描述过去已解决的案例或背景真值(Fagundes et al., 2013).

我们贡献的新颖之处在于，据我们所知，这是首次提出通过符号回归策略学习相似函数来提高可解释性的方法。符号回归已经被用于解决函数识别的具体问题。然而，我们的方法在语义相似性度量过程中的可解释性方面是新颖的。这是由于抽象语法树(AST)的概念，它是一个函数的抽象句法结构的树表示，树的每个节点表示发生在该函数中的一个构造。

AST为语义相似度聚合策略背后的意义提供了一个数学上合理的模型。通过评估节点的子节点，然后在相应的子节点值上执行父节点声明的操作，得到最终的得分。这样，整个程序种群由一组AST表示，其中内部节点表示使用的函数、步骤或方法，而符号树的叶子表示语义相似性度量或作为参数的数值。这使得任何一个数学函数都可以利用若干个输入变量进行识别、正确表示和利用。

表1扩展了 Minnebo and Stijven (2011) 的分析，总结了不同语义学习方法的主要特征。在这个表格中，可以看到符号回归与现有方法有何不同。

可以看出，符号回归与其他方法相比呈现出许多积极的特征，尽管它对我们的研究具有特殊的相关性，最终的模型可以提供洞察问题的可能性，并增加系统的理解。因此，在这项工作中，为了发现数据中隐藏的非线性关系，我们在语义相似性度量能够以与其余模型(回归分析、集成学习、深度学习、模糊学习等)相同的方式操作的基础上，依靠符号回归方法来建模非线性函数。而且，符号回归的最大优点是能够从所得到的结果的可解释性中得到更好的结果。

最近的工作是使用符号回归来获得语义相似性的度量，例如。(Lensen et al., 2019))。在这篇文章中，作者引入了一个类似于我们的想法，因为他们提出要提高聚类方法的可解释性。他们使用一种遗传策略，自动选择一个小的特征子集，然后使用多种算子进行组合。然而，与我们的研究存在一些相关的差异。例如，虽然这类工作试图克服欧氏距离等相似性度量的刚性，而这些相似性度量不能很容易地适应特定数据集的属性，但我们的研究方向是作为基于黑盒模型的深度学习技术的替代品。这是因为(Lensen et al., 2019)在几何空间中应用相似性度量，而我们的研究侧重于文本信息的语义相似性度量研究。这意味着，尽管相似性度量的设计已经使用符号回归进行了探索，但我们的工作是首次尝试将这种自动设计引入语义文本相似性领域。

3. Symbolic regression for interpretable semantic similarity measurement

符号回归是一种回归分析，它以准确性和简单性为主要目标，在所有数学表达式的空间中运行，以找到最适合给定数据集的结果模型。算法(Affenzeller et al., 2013).没有提供具体的约束条件作为起点。与其他类型的回归不同，符号回归并不只是将参数拟合到预先存在的结构中，而是试图为给定的输入数据集确定最合适的结构和最优参数。

另一方面，遗传规划试图模仿自然选择的一般原理，通过诱导编码为个体的优化策略来解决问题。在符号回归的情况下，这些进化策略被指导自动生成计算机程序，其中一个程序可以是一个数学函数，一组步骤(即算法)，甚至是一组给定一组输入值的语法规则，它能够定义一个描述它们相互关系的数据模型。一般来说，程序种群由ASTs表示，其中树的内部节点表示所使用的函数、步骤或方法，而外部节点表示函数的参数。这使得任何程序、算法或数学表达式都可以表示。图1展示了AST使用多个预先存在的算子聚合三种语义相似性度量( sim1、sim2和sim3)的实例。

• 图1 . AST表示数学表达式f( sim1、sim2、sim3) = max ( ( sim1 * 0.54 )，sim3 ) + sqrt ( sim2 * 0.48)的例子。

因此，这种方法的核心是使用进化方法来生成程序，以最好的方式解决某个任务。在我们的案例中，该任务是语义相似性度量的智能聚合，以获得高度可解释性的结果。我们在这里使用Koza方法( Koza , 1992)，这意味着要做的程序由AST表示，通过它可以表达复杂依赖于一组必须事先选择的符号的数学函数。

算法 1 在伪代码中简要说明了如何通过适应进化算法(Holland & Reitman, 1977)的原始结构来执行整个过程。第一步包括染色体种群(即AST种群)的随机生成，以及这些初解(第2、3行)的评估。然后，应用遗传算子(第4 ~ 10行)，通过产生新的子代来改进AST初始种群。这些算子是随机选择父代用来产生一个新的、进化的AST种群(第5行)；将先前选择的父代信息进行组合，通过使用均匀交叉产生新的子代(第6行)；并应用一个随机变化(突变)在特定部分求解(第7行)。所有这些对当前种群的改变产生了一个新的适应值函数，该函数将在下一段(第8行)中解释。然后，新种群的个体更新前一个种群的解(第9行)。在最后，当达到停止条件时，最终种群将包含优化后的AST，并返回(第11行)。

图2给出了一个长度为7个单位的个体进行符号表达的例子，其余个体意在优化运算符优先级。在这项工作中，我们不使用二叉树，因为我们已经开发了评估引擎，我们可以决定每个函数可以接受的操作数的数量。此外，AST的表示可以在按顺序遍历后的数组中完成。

在此过程中，进化策略被引导到最大化使用不同AST所取得结果的质量的目标。这是通过比较背景真值(即由特定领域专家求解并假定准确的过去案例集合)与AST发布的结果之间的相关程度来完成的。为了能够对求解结果进行推广，我们在计算适应度时考虑交叉验证对模型进行训练和测试。在这个意义上，还值得一提的是，我们希望保持ASTs的大小较低，因为众所周知，虽然较大的树可以在训练上给出非常好的结果，但这些结果通常是由于过拟合。这意味着作为评估一个解决方案最重要的验证分数并不是我们想要的全部。同时，训练数据集应该是均衡的(Vladislavleva, Smits, & den Hertog, 2010).也非常重要。

对于适应度函数，我们有两种方式来指导我们的进化过程。Pearson相关系数和Spearman秩相关。计算了两个数值阵列之间的Pearson相关系数。可以用下面的公式对其进行形式化定义，其中x是表示人类专家结果的数组，y是我们在进化过程中得到的最好生成的AST所求解的案例数组：

另一种选择是使用斯皮尔曼等级相关系数( Spearman Rank correlation )，该系数用于衡量人工生成向量与机器生成解之间的关联程度。当需要在有序尺度上比较结果时，Spearman秩相关检验是合适的分析。计算公式如下：

$d_i=rg(X_i)-rg(Y_i)$ 为每个数组的两个秩之差，n为两个数组的大小。

两种度量相关性的方法的主要区别在于，第一种方法在涉及区间尺度的场景中最为合适，而第二种方法更适用于涉及有序量表的场景。这意味着，当我们想要产生语义相似度的绝对值时，我们应该用皮尔逊训练系统。相反，如果重要的问题是语义相似度值的相对排序，那么我们应该训练关于Spearman Rank的进化策略

本节其余部分将更详细地介绍AST的计算过程。解决一个具体问题的符号回归过程包括五个主要步骤：( a )问题陈述，( b )数据收集，( c )执行符号回归程序，( d )模型验证，( e )使用得到的模型解决问题。

3.1. Problem statement

遗传规划中的初始种群由创建种群个体组成，以ASTs的形式作为问题的有效解。初始化种群过程中的一个重要参数是指示应该创建的AST的最大大小。同样重要的是，如果要使用一些实常数或整数常数，并且操作符优先，那么定义允许使用的数学运算符也很重要。所有这些参数都会对通过进化过程进行的搜索产生影响，从而导致对某个问题产生高质量的解决方案。请注意，在这种情况下，我们使用监督类型的符号回归，因为在给定某些输入的情况下，该方法预计会产生一个已知的输出。这种思想与无监督回归相反，它期望系统的某种行为，但并不明确地具有必须产生的精确输出。

3.2. Data collection

数据收集包括收集关于要解决的问题的几个元素的观测值，其中每个元素包含将要考虑的每个属性的值。一般而言，数据来自真实环境。事实上，在我们的具体案例中，输入数据只是一些已有的语义相似性度量的输出。我们的目标是借助符号回归过程，智能地添加它们。需要注意的是，输入必须全部来自具有高可解释性的方法，例如使用词网等字典的方法。否则，也许结果会更好，但我们无法自始至终追溯整个过程

3.3. Execution of the symbolic regression program

符号回归方法根据参数的具体定义执行。值在本步骤定义的是与解的执行时间和复杂度相关的。该算法从随机ASTs的初始种群开始，并假设通过一个进化过程朝着获得更好和更好的ASTs的方向进化。与大多数进化策略一样，对种群进行的修改允许将来自父母的信息混合在一起传递给后代或在种群内引入突变，以便在世代之间找到质量更好的解决方案。

3.4. Validation of the model

符号回归过程被认为是一个迭代过程，其中模型产生的输出用于验证问题的解。因此，认为得到的模型产生了令人满意的输出，即与数据合理一致。然后将得到的模型传递到最后一个阶段，该阶段包括对以前没有见过的数据集(验证集)的评分评估。一旦某个模型获得一定的验证水平，则对其进行选择，完成符号回归的迭代过程。然后利用此模型给出问题的解决方案。

3.5. Use of the resulting model to solve the problem

一旦进化过程的执行结束，从最终生成的种群中获取问题的有效解。一般情况下，该方案以最优个体(在程序执行完成的瞬间进行最大调整)呈现。由于问题解决过程是用ASTs来处理的，因此可以方便地将这种表征转化为相应的形式。例如，在处理数学函数时，将最终的AST转化为数学模型；在处理代码行时，将树转化为计算机程序。

3.6. The importance of operator precedence

在处理符号回归时，需要注意的是当两个运算符具有相同的操作数时，具有较高优先级的运算符必须先行。例如，在大多数编程语言中，乘法运算优先于加法运算。这样，在表达式中，2 3 5的结果为17 .括号或括号可以用来避免混淆，但作为一般规则并不具有强制性。因此，优化操作符优先级有两个主要影响。一方面，它可以获得更好的结果，因为进化过程可以指导解决方案获得尽可能好的优先级列表。另一方面，它降低了可解释性，难以直接导出到预先定义了每个操作符优先级的编程语言。为此，优化操作符的优先级允许进行权衡。如果需要更多的准确性，我们优化列表。如果需要更多的可解释性，我们不对其进行优化。这与我们一开始提到的假设之一是一致的，即符号回归允许在用户方便的情况下调整准确性和可解释性之间的权衡。这将在下一节的实验和结果分析中得到更清晰的体现。

3.7. Example

在这一小节中，我们用一个实际例子展示了我们的方法是如何工作的。假设我们有一个语义相似度数据集，其中人类的(或背景真理)表示文本表达式之间的相似程度。表2 向我们展示了几种现有的语义相似度度量所展示的真实结果。最后一列是利用自动获取的数学公式对语义相似度度量进行转换的结果：

我们可以看到：( a )符号回归能够找到一个能够适当考虑每个语义相似性度量的数学表达式，( b )不同于其他基于神经网络或集成的模型，得到的表达式可以被人理解。

5. Conclusions

在本工作中，我们介绍了我们关于设计聚合语义相似性度量的研究，这些度量不仅能够获得良好的性能，而且能够被人类操作者理解。要做到这一点,

References

Martinez-Gil J, Chaves-Gonzalez J M. A novel method based on symbolic regression for interpretable semantic similarity measurement[J]. Expert Systems with Applications, 2020, 160: 113663.

算法特点

适应度选择：pearson 相关系数度量