论文笔记《Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive》

原文链接
本文发表于人工智能领域顶级会议 AAAI 2018

摘要

在情感分类任务中，人们关注的往往是一句话中所表露出情感的“最重要”的一部分，比如在美团上经常会有这种评价：“这家店的菜做的不错，但是服务特别差！”，而对于餐厅管理者来说，这条评论他们最关注的是“这家店服务特别差”这个部分，即整个句子对他们餐厅所表现出来的情感是“不满意”的。本文提出一种方案，通过将句子中的重要部分标记为“target words”，然后分析句中“target words”的情感，本文通过将常识给添加到网络中来增加情感分析的准确度，实验表明效果优于目前现有的最新模型。

模型

本文是基于传统的双向LSTM来做的，分成如下几个步骤：

1. 把句子序列中每一个词通过w2v预训练出来的词向量送入双向LSTM中，每个词会得到一个隐状态
2. 对target words 的隐状态单独做attention，得到对应的target words attention 向量
3. 接着把步骤2得到的target words attention 向量和步骤1得到的所有隐状态向量给concat起来，再做一次attention。
4. 将步骤3得到的attention向量经过一个全连接层和一个softmax输出层，得到最终的分类概率输出。

---

在上述传统双向LSTM的模型基础之上，本文做的主要改动就是增加了常识的输入，本文使用了一个叫做SenticNet的工具，它包括了50000多个concept，每个concept会在多个分类上有不同的score，比如：
“win lottery”这个concept在“Arises-joy”的分类上有非常高的score，但在“KindOf-food”的分类上的score非常低。如下表所示：

concept	KindOf-food	Arises-joy	IsA-pet
dog	0	0.789	0.981
cupcake	0.922	0.910	0
win lottery	0	0.991	0

很显然，SenticNet的数据会非常的稀疏，因为一个concept在大多数的分类上的“score”都会是0，只有少部分是非0的，这种稀疏数据很难直接作为神经网络的输入。
本文为了解决上述问题，引用了 AffectiveSpace (Cambria et al. 2015)提出的“dimension reduction”方法，通过该方法可以将稀疏数据降维，并且能保留数据中的主要信息，本文通过该方法将concept的score向量降维，然后和输入向量进行concat后再送入网络。

本文为了提高效果，还在LSTM的cell中增加了一个用来调整向下一个state传递的concept流量大小的concept gate

最终通过实验证明，效果比不加入concept的score向量时要好很多。