【论文阅读】【基于方面的情感分析】Deep Context- and Relation-Aware Learning for Aspect-based Sentiment Analysis

Deep Context- and Relation-Aware Learning for Aspect-based Sentiment Analysis

一、该论文关注的是解决ABSA问题的哪个方面？驱动是什么？具体目标是解决什么问题？

方面：统一构架完成3个子任务（ATE、OTE、ASC）+深度网络模型（利用上下文信息）+自我监督策略（局部改进）

驱动：
ABSA的现有工作采用了两步方法，分别考虑每个子任务。最近，统一的方法在ABSA任务中取得了显著的性能改进，允许子任务之间的交互关系。但是他们的方法有两个局限性：

• 它们只考虑aspect-opinion之间的关系（表面关系），而没有明确利用整个序列的语境信息。
• 识别多个aspect-opinion对及其极性更具挑战性。

目标：
提出一种新的网络模型，不仅能够允许ABSA子任务之间的交互关系（即能够同时解决多个子任务），也能够通过上下文信息明确地考虑子任务之间的关系。解决三个子任务:方面词提取(ATE)、观点词提取(OTE)和基于方面的情感分类(ASC)。

二、该论文采用的方法是什么，方法的核心原理是什么？

方法的提出：

• 如何允许子任务之间的交互关系——共享编码器
• 模型如何利用上下文信息——Aspect and Opinion Propagation模块
• 自我监督策略——Explicit Self-Supervised Strategies模块

综上：
提出了用于ABSA的深度情境化关系感知网络(Deep Contextualized relationship - aware Network, DCRAN)。该网络基于两个模块(Aspect and Opinion Propagation和Explicit Self-Supervised Strategies)，前者允许具有深度情境信息的子任务之间建立互动关系，后者为ABSA设计了新颖的自我监督策略。

核心原理：

1. “共享”
   利用预先训练的语言模型，如BERT和ELECTRA 作为共享的编码器来构建上下文表示，由三个子任务（ATE、OTE和ASC）共享。
   给定一个句子S，预训练的语言模型接受输入序列，然后输出一个共享上下文表示的序列。

2. 模型：
   aspect的提取——单层前进神经网络(FFNN)
   考虑aspect与opinion的关系，判断极性【AP、OP】——利用transformer-decoder考虑aspect和opinion的关系。transformer-decoder主要由一个多头自注意层、两个多头交叉注意层和一个前馈层组成。

3. 自我监督策略 Explicit Self-Supervised Strategies：
   为了进一步挖掘句子语境化信息与方面-意见的关系，提出了显性自我监督策略，包括两个辅助任务:
   TSMTD——使用特殊标记[mask]，屏蔽掉指定类型的term（比如屏蔽了service）
   PRD——使用特殊的令牌[REL]，统一地替换方面和意见术语。
   

   其目的在于自监督，原理就是在输入时进行了特殊标记，然后在输出端进行相应的检查，计算NLL 损失，再根据损失调整模型。

三、该方法是如何提出的，是开创性的方法还是对已有方法进行的改进，创新点是什么？

参考的观点或模型：

• ①利用了预先训练的语言模型，如BERT (Devlin et al.，2019年)和ELECTRA (Clark et al.，2020年)作为共享的编码器来构建上下文表示。
• ②利用了transformer-decoder (V aswani et al.,2017)来考虑aepect和opinion之间的关系，同时预测极性。

创新点：

• ①设计了AP和OP，使模型对整个语境有全面的理解，从而可以更好地预测极性。
• ②为ABSA提出了新的自我监督策略，该策略在处理多个方面和考虑深层次的上下文信息方面和意见术语方面非常有效。据这篇论文所说，这是为ABSA设计明确的自我监督方法的第一次尝试。

四、该论文展示的结果如何？使用的是什么数据集？

使用的数据集：
laptop reviews (LAP14), restaurant reviews (REST14) from (Pontiki et al., 2014), and restaurant reviews (REST15) from (Pontiki et al., 2015)

实验指标：
F1分数。四个子任务都有评价指标:TE-F1、OTE-F1、ASC-F1和ABSA-F1

实验结果：

①与baseline比较

• 除了REST15数据集，DCRAN-BERTbase在REST14和LAP14数据集上的ABSA-F1得分比之前基于BERTlarge的最先进的方法略低。总的来说，DCRAN-BERTlarge在所有指标上都明显优于以前最先进的方法。这表明我们提出的方法对ABSA是非常有效的。
• 基于ELECTRA的模型优于基于BERT的模型。结果，DCRAN-ELECTRAlarge公司在LAP14、REST14和REST15数据集上的ABSA-F1获得了比之前最先进结果5.5%、4.4%和7.6%的绝对收益。

②消融实验

• AP比OP更有效，当不使用AP和OP时，得分明显下降。
• 在显性自我监督策略的情况下，PRD比TSMTD更有效。

③多aspect任务的效果

• 当句子包含单一方面时，AP和OP显著提高了性能，而当句子包含多个方面时，只略有提高。
• 当句子包含多个方面时，自我监督策略对于正确识别ABSA是非常有效的。

五、该论文是否提出还有需要改进的地方，即future work？

当句子多个方面时，AP和OP的模块使性能只略有提高。所以需要进一步明确的任务来识别多方面问题。

六、该论文的实际应用点在于什么？

这篇论文显式提出的是一个能够同时解决多个ABSA任务的模型，并且是一个深度网络的模型，解决三个子任务（ATE、OTE和ASC）的效果也不错。
虽然模型的架构大部分是过去优秀模型的组合和改进，但是其自监督的策略是很创新的一点，在输入时进行特殊标记，然后在输出端进行相应的检查，计算NLL 损失，再根据损失调整模型。并且这个创新点在多方面任务上表现效果很好，应该是一个很值得借鉴的创新点。