读论文——EMNLP2021 Aspect-based sentiment analysis 精读第一篇

第一遍

标题

To be Closer: Learning to Link up Aspects with Opinions

作者

摘要

1. 依赖解析树有助于发现基于方面的情感分析中的意见词。（aspect-based sentiment analysis, ABSA），但是从off-the-shelf的解析依赖器获得的树是静态的，在ABSA中可能是次优的。因为句法树的设计不是为了捕捉意见词和方面词之间的相互作用。
2. 本文中，通过缩短aspect和对应的意见词之间的距离，学习一个aspect-centric的树。在模型学习过程中，允许树状结构自适应地关联aspect和意见词，能够更好的识别ABSA中的极性。
3. 结果：在五个aspect-based情感数据集上，本文模型明显优于最近的强基线；在SemEval Restaurant 14 数据集上，aspect和意见词之间的平均距离缩短了19%。

结论

1. 通过定性和定量分析，该模型加入了根约束，提高了aspect词变成句子的根的可能性。
2. 在SemEval Restaurant 14 数据集上，缩短了aspect词和观点词之间的平均距离19%。
3. 未来可能用于三重态提取(aspect triplet extraction)

介绍

1. ABSA判断句子中对特定目标的情感极性，例如：“The battery life of this laptop is very long, but the price is too high”，aspect词battery life是正向的，aspect词price是负向的。
2. 之前的工作，使用注意力机制在aspect词和上下文词之间建模，但是这种方法会过多关注出现频率较高的词，忽视低频的词。
3. 最近的工作发现，语法树能够帮助识别aspect词相关的情感特征，但是存在两个问题：
   1. 从现成的依赖解析器获得的树是静态的，因此不能自适应地模拟多个aspect词和意见词之间的复杂关系。
   2. 不准确的解析树可能会导致错误在pipeline中向下游传播
4. 本文是针对aspect词为root定制生成语法树（ACLT, Aspect-Centric Latent Trees），通过注意力机制和MTT实现。加入一个软约束，通过MTT激励aspect词作为语法树的根节点。
5. 本文贡献点：
   1. 通过ACLT来连接aspect词和观点词
   2. ACLT学习的解析树更利于aspect词和观点词联系起来

第二遍

模型

模型框架

整体流程：

1. 通过句子编码器（BERT）获取上下文表示
2. 使用一个树偏置器，产生所有潜在树的分布（将树结构作为一个潜变量）
3. 一旦获取到潜在树分布后，采用根求精过程，获得aspect-centric潜在树
4. 用一个图或者树编码潜在树，利用树编码器的结构化表示情感分类

2.1 句子编码器

1. 这里采用BERT作为句子编码器
2. 输入：$x=([CLS]w_1,...,w_n[SEP]w_i,...,w_j[SEP])$，包括句子和方面词
3. 输出：H = BERT(x) , $H=[h_1,..,h_n]$

2.2 Aspect-centric Tree Inducer

1. 本文想解决，语法树根节点和方面词不一致问题

2. 通过前馈神经网络（FNN）计算两个节点（$h_i\in H$）边的分数

   公式：$e_{ij}=(\mathbf{t}\mathbf{a}\mathbf{n}\mathbf{h}(W_p{h}_i){)}^T{W}_b(\mathbf{t}\mathbf{a}\mathbf{n}\mathbf{h}(W_c{h}_j))$

   $W_p,W_c\in {\mathbb{R}}^{d\times d}$分别表示两个FNN

   $W_b$表示Bilinear的权重

   $e_{ij}\in {\mathbb{R}}^{d\times d}$ ，可以看作一个加权的邻接矩阵，其中每个节点对应句子中的一个词。

   感觉这里维度有问题

3. 计算根节点分数$r_i$，表示作为根节点的非非标准化（可能没有归一化）概率

   $r_i=W_r{h}_i$

   $W_r\in {\mathbb{R}}^{1\times d}$表示线性变化层权重

4. 计算潜在结构的依赖边的边际概率
   $$\begin{array}{rl}{\mathbf{A}}_{ij}& =\{\begin{array}{ll}0& \text{ if }i=j\\ \exp \left({\mathbf{e}}_{ij}\right)& \text{ otherwise }\end{array}\\ {\mathbf{L}}_{ij}& =\{\begin{array}{ll}{\sum }_{i^{\prime }=1}^n{\mathbf{A}}_{i^{\prime }j}& \text{ if }i=j\\ -{\mathbf{A}}_{ij}& \text{ otherwise }\end{array}\\ {\overline{\mathbf{L}}}_{ij}& =\{\begin{array}{ll}{\mathbf{L}}_{ij}+\exp \left({\mathbf{r}}_i\right)& \text{ if }i=j\\ {\mathbf{L}}_{ij}& \text{ otherwise }\end{array}\end{array}$$
   $A\in {\mathbb{R}}^{n\times n}$表示两个节点之间边的权重

   $L\in {\mathbb{R}}^{n\times n}$表示图G的拉普拉斯矩阵

   $\overline{L}\in {\mathbb{R}}^{n\times n}$考虑根节点为了进一步计算

5. 使用$P_{ij}$表示节点$i,j$的边缘概率分布，$P_i^r$表示节点$i$表示为根节点的边缘概率
   $$\begin{array}{rl}{\mathbf{P}}_{ij}=& \left(1-{\delta }_{1,j}\right){\mathbf{A}}_{ij}{\left[{\overline{\mathbf{L}}}^{-1}\right]}_{jj}-\left(1-{\delta }_{i,1}\right){\mathbf{A}}_{ij}{\left[{\overline{\mathbf{L}}}^{-1}\right]}_{ji}\\ {\mathbf{P}}_i^r& =\exp \left({\mathbf{r}}_i\right){\left[{\overline{\mathbf{L}}}^{-1}\right]}_{i1},\end{array}$$
   $\delta$表示 Kronecker delta

6. Root Refinement

   在没有结构监督的情况下，MTT仍然会产生任意的树，而这些树不适合具体的任务。因此，在这样的假设下，诱导树结构的根是在方面词里面，能够让模型更好的关联方面词和观点词。
   $$\begin{array}{rl}{\mathcal{L}}_a=& -\sum _{i=1}^L(t_i\log \left({\mathbf{P}}_i^r\right)+\left(1-t_i\right)\log \left(1-{\mathbf{P}}_i^r\right))\end{array}$$
   $t_i\in \{0,1\}$表示是否第$i$个token是否方面词

   由于信息主要在相邻节点之间传播，所以在训练的早期迭代过程中，树诱导器模块直观地产生随机结构。由于根部被调整为方面词，而且当损失较小时，结构变得更加精细，树诱导器更有可能产生一个以方面为中心的潜在结构。我们在3.4节的实验表明，根细化损失能够成功地引导潜在树的生成，其中主体词与根一致。

2.3 Tree Encoder 树编码器

1. 给定上下文表示$h$和对应的方面中心图$P$，通过注意力机制去编码
   $$\begin{array}{rl}{\mathbf{s}}_i^p& =\sum _{k=1}^n{\mathbf{P}}_{ki}{\mathbf{h}}_k+{\mathbf{P}}_i^r{\mathbf{h}}_a\\ {\mathbf{s}}_i^c& =\sum _{k=1}^n{\mathbf{P}}_{ik}{\mathbf{h}}_i\\ {\mathbf{s}}_i& =\tanh \left({\mathbf{W}}_s\left[{\mathbf{s}}_i^p,{\mathbf{s}}_i^c,{\mathbf{h}}_i\right]\right),\end{array}$$
   $s_i^p$表示从可能的父节点$h_i$，聚集到的信息

   $s_i^c$表示从可能的子节点$h_i$，聚集到的信息

   $h_a$表示根节点

   $s_i$表示第$i$个词的结构化表示

2.4 分类器

1. $s_o$表示每个句子结构化aspect-aware表示
   $$y_p=\mathrm{softmax}\left({\mathbf{W}}_p{\mathbf{s}}_0+{\mathbf{b}}_p\right)$$

2. 分类器的目标函数
   $$\begin{gathered} {\mathcal{L}}_s=-\mathrm{l}\mathrm{o}\mathrm{g}P(y|\mathbf{x}) \\ y\in \{positive,negative,neutral\} \end{gathered}$$

3. 最终的目标函数是一个多任务学习目标函数
   $$\mathcal{L}=\alpha {\mathcal{L}}_a+(1-\alpha ){\mathcal{L}}_s$$

​ $\alpha$是超参数，根据最后验证集结果进行调整

实验

3.2 baselines

1. 最先进的模型主要分类三类：1. 无语法信息模型（TNet-AS、BERT-PT、BERT-PAIR、BERT-SRC） 2. 依赖解析树模型 （ASGCN、CDT、BiGCN、ASGCN+BERT、R-GAT+BERT）3. 潜在树模型（KumaGCN + BERT）

3.3 主要结果

结果表明，Aclt 可以诱导更多信息的特定任务的潜伏结构，建立有效的连接之间的方面词和上下文。

为什么ACLT可以降低方面词和观点词之间的距离？

1. 表中给出依赖解析（Parser）、矩阵树理论（MTT, Matrix Tree Theory）、ACLT中方面词和观点词之间的平均距离（两个词之间的交互次数，the number of interaction hops）。
2. 这些结果证实了我们的假设，诱导树结构的根部在方面词内，使模型能够比标准的解析树更好地关联方面和意见词。

3.4 模型分析

不同树表示的作用

1. 不论是aspect-centric潜在树、潜在矩阵树还是标准的依赖解析树都是用来表示一个句子的结构。
2. 语法信息在ABSA任务中很重要，这一点在其他NLP任务中也比较常见。
3. 在ABSA任务中，aspect-centric树确实可以有效地建立方面词和上下文词之间的关系
4. 在Twitter数据集中，证明GCN也能提升一定性能。

root refinement 是否工作？

从图3中可以看出，ACLT模型将方面词作为根节点的比例明显提高了

修剪树的作用

从表5中可以看出，完整的树结构对于ACL是非常重要的，树结构只要发生修剪，F1值都会下降；而反观R-GA T+BERT和KumaGCN+BERT模型，对树结构进行修剪后，F1值反而还会上升。因此，从某种程度上表明，ACLT模型对ABSA任务中，关联方面词和观点词更加紧密；而其他两种模型的这种能力是受制于它们的树结构了的。

消融实验

1. root refinement对结果提升很大
2. 固定根节点，模型性能下降，表明计算各方面词成为根的概率是获得良好性能的关键。

3.5 案例研究

如图4，可以发现Aspect-centric的树相较于依赖解析树，关联方面词和观点词的路径更短。

相关工作

1. ABSA，Sun et al.(2019a)，利用aspect词构建辅助句子，将ABSA转化为句子对分类任务；Huang and Carley(2019）将意见特征从语法邻域词传播到方面词；ABSA 的另一项工作是利用显式依赖解析树来为上下文和方面词之间的关系建模。
2. Latent variable induction. chen 通过开发 gate 机制动态地组合解析树信息和 hardkuma 结构，构造任务特定的结构。
3. 首先，我们构造特定于特定区域的树，以便在不依赖外部解析器的情况下进行推理。其次，我们通过引入明确的监督，以端到端的方式自适应地调整方面，从而促进目标与意见之间的互动。第三，通过计算各目标词的概率作为根，使模型在训练过程中减少了对 mtt 的推理根的搜索空间。

本文小结

1. 本文观察到在ABSA任务中，方面词和语法解析树的根节点不一致（依赖解析树一般以谓语作为根节点），因此导致方面词和观点词之间的路径变长了，不利于方面词和观点词联系起来。
2. 因此，本文首先使用句子编码器，将句子和方面词一起送入BERT进行编码得到句子表示；然后计算语法树的边权重以及计算将方面词作为根节点的概率；构造两个目标函数，最大化方面词成为根节点、最小化方面词情感分类误差，综合这两个目标函数得到最后的语法树。
3. 结果发现ACLT模型的语法树，方面词和观点词具有更短的距离，有利于提升ABSA任务表现。

欢迎各位一起讨论，交流