【论文阅读】【基于方面的情感分析】Relational Graph Attention Network for Aspect-based Sentiment Analysis

Relational Graph Attention Network for Aspect-based Sentiment Analysis

一、该论文关注的是解决ABSA问题的哪个方面？驱动是什么？具体目标是解决什么问题？

方面：改进“依赖树”存在的局限

驱动：
①2016-2018，许多方法是利用注意力机制来解决ABSA问题，然而，由于语言形态和句法的复杂性，这些机制有时会失效；

如图1所示。在第一个例子中，单词like被用作动词，它表达了对方面配方的积极情绪，基于注意的LSTM模型成功地参与了这一过程。但是在第二个例子中，当它作为介词使用时，模型仍然以较高的权重关注它，导致预测错误。第三个例子展示了一个句子中有两个不同的情感两极的情况。对于方面鸡，LSTM模型错误地对but和dry赋予了较高的注意权重，导致了另一个预测错误。这些例子说明了基于注意的模型在这项任务中的局限性。

②其他的一个方向是尝试利用句子的句法结构来建立联系，核心是使用基于依赖关系的解析树来提供更全面的语法信息，2014-2016许多尝试使用RNN解析编码，2019年来，图神经网络GNNs被尝试用来学习依赖树的表示，但是这种方法的缺点是：

1）忽略了aspect与意见词之间联系的依赖关系；
2）根据经验，解析树中只有一小部分与此任务相关，无需对整个树进行编码；
3）编码过程依赖于树，使得优化过程中的批处理操作不方便，无法处理多个aspect的情况。

具体目标：
改进上面三个依赖树存在的缺点，定义一个新的依赖树结构，然后在此基础上来解决ABSA问题。

二、该论文采用的方法是什么，方法的核心原理是什么？

方法的提出：

• ①这篇论文认为揭示与任务相关的句法结构是解决上述问题的关键。因此，解决上述问题的关键在于依赖树的构建方法——三步构建依赖树的方法（建立、重塑、剪枝）；
• ②如何构建这样的依赖树——提出一个关系图注意网络(R-GAT)模型来编码新的依赖树，其推广了图注意网络(GAT)对带标记边的图进行编码。

综上：
定义了一个新的面向aspect的依赖树结构，然后，使用改进的关系图注意网络(R-GA T)对新的依赖树进行编码，来解决ABSA问题。

核心原理：

1. AODT算法【依赖树三步构建】

   首先，使用普通解析器获得句子的依赖树。其次，我们重塑依赖树，使其扎根于问题中的目标方面。最后，对树进行剪枝，只保留与方面有直接依赖关系的边。
   具体步骤如下：
   （1）将方面词作为根节点，如果一个方面有多个词组成则将其视为一个整体
   （2）保留与根节点直接相连的词，作为根节点的子节点，并保存他们之间原有依赖关系
   （3）其他的依赖关系被取代，以（n:con）的方式，其中n代表方面词与对应词的距离
   （4）如果句子包含不止一个方面，我们为每个方面构建一个唯一的树。

   这种统一的树形结构不仅使我们的模型能够关注方面和意见词之间的联系，而且在训练过程中便于批量操作和并行操作。我们使用新关系（n:con）的动机是，现有的解析器可能并不总是正确地解析句子，可能会错过到目标方面的重要连接。在这种情况下，关系（n:con）使新树更加健壮。

   重构效果示意图：
   

2. R-GAT模型【依赖树的编码构建】

   首先介绍了GAT模型，一般来说依赖树建立之后，就是用GAT模型进行构建，输出就是对于一个图（其实就是这个依赖树）的每一个结点，对其特征进行表示：
   

   Graph Attention Network（GAT），这个attention就是图中每个node相对于其相邻节点的相互重要性：
   

   但是，论文认为GAT构建过程中没有考虑到依赖关系，可能会丢失一些重要的依赖信息。直观上，不同依赖关系的邻域节点应该具有不同的影响。所以，这篇论文对原始GA T进行扩展，增加关系头，就形成R-GAT。

   使用关系头的核心就是用关系头作为关系方向的门，来控制来自邻近节点的信息流。这种方法的整体架构如下图：
   

   关系头是什么：首先将依赖关系（依赖树的）映射到向量表示，然后计算关系头如下公式：
   

   其中rij表示节点i和j之间的关系嵌入，R-GAT包含K个注意头和M个关系头。添加了关系头之后，每个结点的特征表示就修改了：【式7和式1相对比】
   

3. 模型训练

   经过R-GAT后，将各个结点通过全连接层，输出的即结果（不同情感的概率）：
   

4. 损失函数
   使用标准交叉熵作为损失函数：
   

三、该方法是如何提出的，是开创性的方法还是对已有方法进行的改进，创新点是什么？

参考的观点或模型：

• ①依赖树构建过程中的观点部分受到先前发现的启发 (He et al., 2018a; Zhang et al.,2018; He et al., 2018b)，即：专注于语法上接近target aspect的一小部分上下文词就足够了。
• ②编码依赖树的模型R-GAT是GAT(V eliˇckovi´c et al., 2017) 的改进。

创新点：

• ①提出了一个面向方面的树结构，通过重塑和修剪普通的依赖树来专注于目标方面。
• ②对GAT模型进行了改进——R-GAT，即用这个模型来编码依赖树，能够更关注到依赖关系。

四、该论文展示的结果如何？使用的是什么数据集？

使用的数据集：

实验指标：以准确性和宏观平均f1得分作为主要评价指标。
实验结果：

①不同模型在同一数据集上的表现：

• 首先，R-GA T模型的性能优于大多数基准模型。其次，在面向方面的依赖树结构中加入关系头可以显著提高GA T的性能。它还优于ASGCN和CDT的基线模型，它们也以不同的方式涉及到语法信息。这证明了我们的R-GA T更善于对句法信息进行编码。
• R-GA T+BERT：BERT得到了进一步的改进，并达到了一个新的水平。这些结果证明了R-GAT在捕获重要句法结构的情感分析方面的有效性。

②消融实验结果

• 在三个数据集上使用新的树结构对R-GAT都进行了改进，而GAT只在Restaurant和Twitter数据集上进行了改进。
• 在去除虚关系n:con后，R-GAT的性能显著下降。验证了添加（n:con）关系可以有效地缓解解析问题，并使我们的模型具有鲁棒性。

五、该论文是否提出还有需要改进的地方，即future work？

1. 论文还评估了解析器的影响，使用了两个著名的依赖解析器:Stanford Parser (Chen and Manning, 2014)和Biaffine Parser (Dozat and Manning, 2016)，基于R-GAT模型进行了对比，发现更好的Biaffine解析器可以带来更高的情感分类准确率。
   这进一步表明，虽然现有的解析器可以正确地捕获大多数语法结构，但这个方法有可能随着解析技术的进步而进一步改进。

2. 研究不良案例的产生原因，背后的原因可以分为四类。第一类是主要原因，是由于具有误导性的中性评论，其中大多数评论都包含指向目标方面的意见修饰语(词)，具有直接的依赖关系。第二类是由于理解上的困难，这可能需要深层次的语言理解技巧，如自然语言推理。第三类是建议导致的，只是建议或不建议人们尝试，句子中没有明显的线索表明情绪。第四类是双重否定的表达，这也是现有模型难以做到的。

   通过误差分析，可以看到，虽然目前的模型取得了令人瞩目的进步，但仍有一些复杂的句子超出了模型的能力范围。应该开发出更先进的自然语言处理技术和学习算法来进一步解决这些问题。

六、该论文的实际应用点在于什么？

该论文专注于对“依赖树”的建立提出了一种新的定义方式，后面的R-GAT和模型训练是在新的依赖树的基础上进行了ABSA问题的解决。对于所有通过依赖树寻找句法信息的方法来说，都可以局部地对依赖树的构建部分和编码部分进行改进，是一个局部但非常有用的改进。