阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

  • 简介
  • 文本表示
  • Graph Attention Network(GAT)
  • Target-Dependent Graph Attention Network
  • Final Classification

简介

这篇论文的研究领域是细粒度情感分类中的aspect term sentiment classification任务,这篇论文根据单词之间的依存关系构建图神经网络,之后使用图注意力网络与LSTM显示地捕捉与aspect相关的信息。

发表会议:EMNLP-IJCAI2019

论文地址:https://www.aclweb.org/anthology/D19-1549.pdf

文本表示

句子中的单词用Glove或bert初始化,之后用Manning发表在EMNLP2014上的” A fast and accurate dependency parser using neural networks.”来将句子转换为依存图。两个单词之间的边代表这两个单词是语义相关的。比如句子“delivery was early too.”的依存图为:
阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks_第1张图片
对于aspect “delivery”,模型可以将特征从距离为2的单词经过两次迭代之后传递到delivery。

Graph Attention Network(GAT)

GAT是GNN的一种变种,可以将一个aspect的语法上下文的特征传递到aspect。这篇论文的graph attention network使用的是multi-attention,就是将结点的维度分为K份,然后在K份上分别做attention,之后再将结果拼接起来。公式如下:
阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks_第2张图片
简写为:
在这里插入图片描述
总结:第L层的GAT操作相当于结合了aspect的L跳邻居的特征信息

Target-Dependent Graph Attention Network

为了显示利用target信息,论文使用LSTM来建模跨层的aspect信息,有文献证明这种方法可以消除噪音数据。具体做法是是用LSTM中的hidden隐含层来表示aspect target信息,在第0层的hidden只依赖于target周围的特征,而在L层,target的L跳邻居中与aspect相关的信息通过LSTM单元加入到其hidden层状态中。
给出之前的hidden状态与cell状态,论文首先用GAT得到一个临时状态表示作为LSTM的新观察值,之后用LSTM单元来更新hidden状态,总结一下,这篇论文的前向传播过程可以表示为:
在这里插入图片描述
总结:这里的LSTM相当于按照顺序输入距离aspect0跳、1跳、2跳…的信息,L次之后得到最终的aspect表示。

Final Classification

通过L层的TD-GAT网络,可以得到aspect target的最终表示,这里仅仅取出aspect的hidden状态,之后通过线性变换将隐含层状态变换到分类空间,最后通过softmax函数得到预测概率。


最后欢迎大家关注我的公众号NLP学习者
阅读笔记Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks_第3张图片

你可能感兴趣的:(自然语言处理,机器学习)