阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

简介

这篇论文的研究领域是细粒度情感分类中的aspect term sentiment classification任务，这篇论文根据单词之间的依存关系构建图神经网络，之后使用图注意力网络与LSTM显示地捕捉与aspect相关的信息。

发表会议：EMNLP-IJCAI2019

论文地址：https://www.aclweb.org/anthology/D19-1549.pdf

文本表示

句子中的单词用Glove或bert初始化，之后用Manning发表在EMNLP2014上的” A fast and accurate dependency parser using neural networks.”来将句子转换为依存图。两个单词之间的边代表这两个单词是语义相关的。比如句子“delivery was early too.”的依存图为：

对于aspect “delivery”，模型可以将特征从距离为2的单词经过两次迭代之后传递到delivery。

Graph Attention Network(GAT)

GAT是GNN的一种变种，可以将一个aspect的语法上下文的特征传递到aspect。这篇论文的graph attention network使用的是multi-attention，就是将结点的维度分为K份，然后在K份上分别做attention，之后再将结果拼接起来。公式如下：

简写为：

总结：第L层的GAT操作相当于结合了aspect的L跳邻居的特征信息

Target-Dependent Graph Attention Network

为了显示利用target信息，论文使用LSTM来建模跨层的aspect信息，有文献证明这种方法可以消除噪音数据。具体做法是是用LSTM中的hidden隐含层来表示aspect target信息，在第0层的hidden只依赖于target周围的特征，而在L层，target的L跳邻居中与aspect相关的信息通过LSTM单元加入到其hidden层状态中。
给出之前的hidden状态与cell状态，论文首先用GAT得到一个临时状态表示作为LSTM的新观察值，之后用LSTM单元来更新hidden状态，总结一下，这篇论文的前向传播过程可以表示为：

总结：这里的LSTM相当于按照顺序输入距离aspect0跳、1跳、2跳…的信息，L次之后得到最终的aspect表示。

Final Classification

通过L层的TD-GAT网络，可以得到aspect target的最终表示，这里仅仅取出aspect的hidden状态，之后通过线性变换将隐含层状态变换到分类空间，最后通过softmax函数得到预测概率。

---

最后欢迎大家关注我的公众号NLP学习者