【论文阅读】Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

这篇论文主要是通过用aspect构造辅助句子,将ABSA问题转成sentence-pair分类任务,模型就是用了bert,然后再sentihood和semeval2014 task4上都取得了很好的结果

简介

这篇文章的问题领域是TABSA:aspect对应着target,有一个情感极性。这个任务可以分成两步,第一是识别target关联的aspect(the first step is to determine the aspects associated with each target;);第二是确定这个target的aspect的情感极性(the second step is to resolve the polarity of aspects to a given target)
直接把bert用于TABSA任务并没有显著的提升,文章认为这可能是预训练Bert模型的打开(使用)方式不对。
由于Bert既可以表示单个句子,也可以表示一对句子,所以想到将TABSA问题转化成句子对分类问题,然后微调bert模型。
文章探讨了几种构建辅助句子来转化TASBSA问题的方法。
文章总的贡献是两点:
1、将TABSA问题转化成句子对分类问题来解决
2、微调bert模型,在sentihood和semeval2014 task4上都取得了很好的结果

Methodology

任务描述

TABSA:
句子s:{w1, · · · , wm}
predefined targets:{t1…tk}来自句子s中的{wi1,…wik} 所有的target构成集合T
固定的aspect set A :{general, price, transit- location, safety}
polarity:{positive, negative, none}
问题: 对(target,aspect)对来判断极性,例子:
【论文阅读】Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence_第1张图片
文章所指的ABSA问题,不包含(t,a)对,只考虑句子对aspect的极性,相当于同时学习semeval2014 task4的subtask3和subtask4

构建辅助句子

只以TABSA为例,考虑四种构建方式:
【论文阅读】Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence_第2张图片
举例来说,考虑(location1,safety)这个(target,aspect)对儿
有QA和NLI两种构建方式,两种方式中各包括一个情感分类和一个yes/no分类
对(location1,safety):

  • QA-M : what do you think of the safety of location - 1 ?
  • NLI-M:location - 1 - safety
  • QA-B: the polarity of the aspect safety of location - 1 is positive/negative/none
  • NLI-B: location - 1 - safety - negative/positive/none

fine-turning pretrained bert

把first token 的hidden state作为输入(H维),过一个全连接( W ∈ R K ∗ H W\in\mathbb{R}^{K*H} WRKH),K 是要分类的类别数,最后过softmax得到概率

Bert-singe:
对TABSA——nt个target,na个aspect,把这个任务堪称nt*na的target-aspect分类任务,然后求和
对ABSA na个aspect的分类任务

Bert-pair: 上述四种构建辅助句子的方法各自是一个句子对分类任务

实验

sentihood包含(t,a)对,直接用来训练
semeval只有aspect,需要一起进行subtask3和4
【论文阅读】Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence_第3张图片
【论文阅读】Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence_第4张图片

讨论

为什么bert-pair效果好
一方面构造辅助句子直接指数级别的扩充了数据集;另一方面,bert很适合处理句子对分类任务。构造辅助句充分利用了预训练的bert模型

结论

构造辅助句子将TABSA问题转化成句子对分类问题,这是这篇文章最重要的点。

你可能感兴趣的:(论文,NLP)