方面级分类paper9 Context-aware Embedding for Targeted Aspect-based Sentiment analysis(2019 ACL)

Paper link:  https://arxiv.org/pdf/1906.01213v1.pdf

Code link:

Source:  2019 ACL

Author: Jasminexjf

Time: 2019-06-25

这是一篇来自于 ACL 2019 的论文「Context-aware Embedding for Targeted Aspect-based Sentiment Analysis」巧用文本语境信息：基于上下文感知的向量优化，该论文主要提出了一种作用在细粒度情感分析的上下文感知目标和方面向量优化方法。实验结果表明，该向量优化方法可以直接和现有的基于神经网络的目标-方面级别情感分析模型相结合，并取得更好的效果。未来，研究者尝试将向量优化方法应用到其他自然语言处理任务中，并进一步改善方法的有效性和通用性。

Aspect-based sentiment analysis(ABSA) is a basic subtask of Target Aspect-based sentiment analysis(TABSA)

1. Abstract:

Attention-based neural models were employed to detect the different aspects and sentiment  polarities of the same target in targeted aspectbased sentiment analysis (TABSA). However, existing methods do not specifically pre-train reasonable embeddings for targets and aspects in TABSA. This may result in targets or aspects having the same vector representations in different contexts and losing the contextdependent information. so we propose this novel model …… 

2. Introduction

Targeted aspect-based sentiment analysis (TABSA) aims at detecting aspects according to the specific target and inferring sentiment polarities corresponding to different target-aspect pairs simultaneously.  

例子：

“location1 is your best bet for secure although expensive and location2 is too far.”

for target “location1”, the sentiment polarity is positive towards aspect “SAFETY” but is negative towards aspect “PRICE”.

While “location2” only express negative polarity about aspect “TRANSIT-LOCATION”.

                                        

1. 现有的方法在表示目标（target）和方面（aspect）时往往会脱离上下文。这种随机初始化或不依赖于上下文的表示方法有三个弊端：1）同一个目标或方面的向量表示在表达不同情感极性的句子中没有得到区分；2）目标不是确定实体时（例如“这个酒店”，“这个餐馆”，“那部电影”等），输入信息无法体现实体本身的价值；3）忽略了目标和方面之间的相互联系。

2. 目标和方面在上下文中存在重叠的关联映射关系。在一句话中，一个目标可能会对应多个方面，而不同的方面可能会包含不同的情感极性。另一方面，在同一句话中往往会存在多个目标，所以目标和方面之间会存在错综复杂的对应关系。如上图。

3. model

为解决上述问题，本文提出了一种结合上下文信息优化目标和方面向量表示的方法，该方法可以直接和现有基于神经网络的目标-方面级别情感分析模型相结合（如图 所示）。

因为句子中的目标是任务的基础，然而考虑到同一个句子存在多个目标，如何针对不同目标从上下文中自动学习向量表示呢？

具体来说，我们使用一个稀疏系数向量来提取文本中与目标相关度较高的词语，并使用这些词语作为目标的上下文信息。通过对目标上下文词向量的聚合获得目标的最终表示。通过这种方法，目标的向量表示可以从上下文中自动学习，所以就算句子中的目标不是确定的实体，我们也能得到有价值的向量表示。

上下文感知的向量优化主要包含两个部分：重新构建目标向量和微调方面向量。为了使文本词向量里带有目标与方面信息，此处首先将文本的词向量序列输入一个全连接网络，之后利用一个阶跃函数将得到的文本向量稀疏化，以此表示文本中与目标相关的词语的掩码。最后通过将稀疏系数向量和输入的文本向量结合可以得到上下文相关的目标和方面表示。

在训练过程中，1）针对目标表示，我们希望获得的上下文相关目标向量尽量接近输入的目标向量，

                         2）针对方面表示，我们希望上下文相关的方面表示尽可能靠近和它相关联的目标，远离无关的目标。

上下文相关的目标向量表示

为了使目标表示从上下文中自动生成，所以我们将提取上下文中和目标有高度关联的重要词语来优化目标向量表示：

                                                                       

上下文相关的方面向量表示

在方面向量表示优化中，因为方面本身的词语也具有一定的价值，例如方面“Price”，单从词语本身，我们可以知道该方面涉及“价格”相关信息，所以我们保留了方面的原始向量信息。通过将方面本身的词语和稀疏系数矩阵提取到的上下文信息结合可以得到优化后的方面向量表示：

4. Experiments 

4.1 dataset:

SentiHood:

target: sum to 5215 sentences; where a target: 3862 sentences; multi target : 1353 sentences.

aspect: general+price+transit-location+safety

sentiment: pos/neg/neur

Semeval 2015

restaurants  domain in task 12 for TABSA from Semeval 2015.

1197 targets in the training set and 542 targets in the testing set.

4.2 experiment settings:

4.3 results:

从表中结果可以看出，本文提出的优化目标和方面向量表示的方法在目标识别和情感分类任务中都取得了更好的表现，这说明了上下文相关的目标和方面表示能提升模型在细粒度情感分析任务中的效果。同时我们可以发现本文提出的目标-方面向量表示可以适用于大部分基于深度学习的目标-方面文本情感分类模型.

4.4 Visualization

                          

可视化部分，本文使用了 t-SNE 对模型学习到的方面向量表示中间结果进行可视化对比实验。从图 3 结果可以看出，本文提出的方法能使不同方面在训练过程中得到更好的区分，有效提升了方面向量表示的质量。

5. Conclusions

本文提出了一种作用在细粒度情感分析的上下文感知目标和方面向量优化方法。实验结果表明，该向量优化方法可以直接和现有的基于神经网络的目标-方面级别情感分析模型相结合，并取得更好的效果。未来，我们尝试将向量优化方法应用到其他自然语言处理任务中，并进一步改善方法的有效性和通用性。

 

参考文献：https://www.lizenghai.com/archives/15859.html