论文阅读笔记：Context-aware Embedding for Targeted Aspect-based Sentiment Analysis

目录

 

问题描述：    

方法：

输入：   

稀疏系数向量：

重新构建目标向量：

微调方面向量：

实验结果：

可视化分析：

总结

---

问题描述：    

  这是一篇来自哈尔滨工业大学深圳院校2019年在ACL发表的文章，应用于Targeted aspect-based sentiment analysis(TABSA)，这一问题是根据句子中的具体的target，识别其属于哪一个aspect，并对target-aspect进行情感分类。现有的基于注意力机制的神经网络模型虽然取得了较好的效果，但是由于这些方法中表示target和aspect的向量都是随机初始化的，这样就会产生以下问题：

1. 现有的方法在表示目标（target）和方面（aspect）时往往会脱离上下文。这种随机初始化或不依赖于上下文的表示方法有三个弊端：1）同一个目标或方面的向量表示在表达不同情感极性的句子中没有得到区分；2）目标不是确定实体时（例如“这个酒店”，“这个餐馆”，“那部电影”等），输入信息无法体现实体本身的价值；3）忽略了目标和方面之间的相互联系。

2. 目标和方面在上下文中存在重叠的关联映射关系。在一句话中，一个目标可能会对应多个方面，而不同的方面可能会包含不同的情感极性。另一方面，在同一句话中往往会存在多个目标，所以目标和方面之间会存在错综复杂的对应关系。如图：

方法：

    为解决上述问题，本文提出了一种结合上下文信息优化目标和方面向量表示的方法，该方法可以直接和现有基于神经网络的目标-方面级别情感分析模型相结合，如图所示：

输入：   

      给定句子s = {w1,w2, …,LOC,…, wn}, LOC表示句子中的target，将s转换成一个m*n维的矩阵X，也就是模型的输入，其中target采用随机初始化，aspectis an average of its constituting word embeddings or single word embedding（这个地方没有理解初始的aspect是如何计算的）

稀疏系数向量：

    本文使用一个稀疏系数向量来提取文本中与目标相关度较高的词语，并使用这些词语作为目标的上下文信息。通过对目标上下文词向量的聚合获得目标的最终表示。通过这种方法，目标的向量表示可以从上下文中自动学习，所以就算句子中的目标不是确定的实体，我们也能得到有价值的向量表示。计算方法如下面公式：

 w是m*1的权重向量，b是n*1的偏差值，f是非线性激活函数，通过这个计算可以得到每个词在句子中的权重表示。

然后用一个阶跃函数将权重表示稀疏化，计算如下：

 mean（）是均值函数，阶跃函数的作用是将低于平均值的权重置为0，由此得到的就是稀疏系数矩阵，他表示每一个单词在句子中的重要程度。

重新构建目标向量：

用输入X与稀疏系数矩阵相乘即可得到根据上下文构建的目标向量。 针对目标表示，我们希望获得的上下文相关目标向量尽量接近输入的目标向量，所以要最小化以下目标函数：

微调方面向量：

   对于方面向量，这个词本身就包含一定的语义信息，比如“价格”这个方面，而上下文信息与这个方面关联度比较高的词也会起很大作用，所以在对于方面信息的微调，是在初始的方面向量上，利用上下文语义信息进行调整，计算公式如下：

   在训练过程中，我们希望上下文相关的方面表示尽可能靠近和它相关联的目标，远离无关的目标。所以要最小化下面的目标函数：

通过目标函数的两部分作用，可以使优化后的方面向量尽可能靠近与它相关联的目标，并远离与它无关的目标，从而使输入句子针对不同方面的情感信息得到有效区分。

实验结果：

本文在两个数据集上进行了实验，结果如下：

 

 

从表中结果可以看出，本文提出的优化目标和方面向量表示的方法在目标识别和情感分类任务中都取得了更好的表现，这说明了上下文相关的目标和方面表示能提升模型在细粒度情感分析任务中的效果。同时我们可以发现本文提出的目标-方面向量表示可以适用于大部分基于深度学习的目标-方面文本情感分类模型。

可视化分析：

可视化部分，本文使用了 t-SNE 对模型学习到的方面向量表示中间结果进行可视化对比实验。从图 中结果可以看出，本文提出的方法能使不同方面在训练过程中得到更好的区分，有效提升了方面向量表示的质量。

总结

本文提出了一种作用在细粒度情感分析的上下文感知目标和方面向量优化方法。实验结果表明，该向量优化方法可以直接和现有的基于神经网络的目标-方面级别情感分析模型相结合，并取得更好的效果。未来，我们尝试将向量优化方法应用到其他自然语言处理任务中，并进一步改善方法的有效性和通用性。