An Empirical Study on Leveraging Position Embeddings for TOWE 论文阅读笔记

一、作者

Samuel Mensah、Kai Sun
Computer Science Department, University of Sheffield, UK
BDBC and SKLSDE, Beihang University, China

二、背景

面向目标的意见词提取(TOWE)是面向目标的情感分析的一个新的子任务,旨在为文本中的给定方面提取意见​​词。

下面分别为数据集示例和为 TOWE 应用 BIO 标签方案的示例。

{
	"tokens": ["The", "bread", "is", "top", "notch", "as", "well", "."],
	"head": [2, 5, 5, 5, 0, 5, 6, 5],
	"POS": ["DT", "NN", "VB", "JJ", "NN", "RB", "RB", "."],
	"deprel": ["det", "subj", "cop", "amod", "ROOT", "advmod", "fixed", "punct"],
	"asp": [[1, 1]],
	"opn": [[3, 4]]
}

An Empirical Study on Leveraging Position Embeddings for TOWE 论文阅读笔记_第1张图片

三、具体实现

给定句子 s = w 1 , w 2 , ⋯   , w n s = {w_1, w_2, \cdots, w_n} s=w1,w2,,wn,其中方面词为 w t ∈ s w_t \in s wts。作者的模型将单词、词性和位置信息的整体作为 TOWE 任务的输入,进一步探索了通过 GCN 编码器合并来自句子句法解析的信息进而增强文本编码。

1.输入表示

单词嵌入:作者分别通过 Glove 词向量以及基于 BERT 的表示进行实验,其中基于 BERT 的表示是从 BERT 基础模型的最后一层中提取的,并在 TOWE 上进行了微调。

位置嵌入(POSN):作者计算了从 w i w_i wi w t w_t wt 的相对距离 d i d_i di,并在随机初始化的位置嵌入表中查找它们的嵌入。

词性嵌入(POST):作者使用 Stanford Parser 为每个 token 分配了词性标记,并在随机初始化的词性嵌入表中查找它们的嵌入。

输入结合

  1. Glove 输入:由连接每个标记的 Glove 词嵌入、POST 和 POSN 嵌入构成。
  2. BERT 输入:将 BERT 向量与每个 token 的词性嵌入连接起来。

2.文本编码

作者分别基于 CNN、Transformer、BiLSTM 和 ON-LSTM 进行了文本编码的实验。

3.GCN编码器

首先通过二元邻接矩阵 A i j A_{ij} Aij 来对句法树进行表示,即节点间有边对应位置置1,否则置0。

基于句法邻接矩阵,得到的第 k 个 GCN 层的表示为: H ( k ) = ReLU ⁡ ( A H ( k − 1 ) W ( k ) ) + H ( k − 1 ) H^{(k)}=\operatorname{ReLU}\left(AH^{(k-1)}W^{(k)}\right)+H^{(k-1)} H(k)=ReLU(AH(k1)W(k))+H(k1)

其中, W ( k ) W^{(k)} W(k) 为第 k 层的参数矩阵, ReLU ⁡ \operatorname{ReLU} ReLU 为对应的激活函数。GCN 的初始输入 H ( 0 ) H^{(0)} H(0) 对应于文本编码器提取的单词表示集合。同时第二项在传播过程中引入了保留了 H ( 0 ) H^{(0)} H(0) 的上下文信息的残差连接。

4.分类和优化

作者的模型使用表示 H ( l ) H^{(l)} H(l),应用线性层,然后使用 softmax 函数对其进行归一化,以得到输入中每个单词在集合 {B, I, O} 上的概率分布。损失函数采用交叉熵损失函数。

你可能感兴趣的:(方面情感分析,论文阅读,人工智能,机器学习)