[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension

题目、作者

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第1张图片

一、Abstract

1. 现有的研究通常通过堆叠多个神经模块来处理基于方面的情感分析,这不可避免地导致严重的错误传播

2. 本文提出了MRCOOL: MRC-PrOmpt mOdeL框架

二、Introduction

1. 方面词提取(Aspect term extraction)和方面层次情感分类(aspect-level sentiment classification)是ABSA的两个子任务;(结合前面两个任务)方面术语提取和情感分类(aspect term extraction and sentiment  classification)建立了第三个基本子任务。

example:

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第2张图片2. 通常,MRC模型可以根据给定的段落对问题给出正确的答案

3. 现存的主流研究方法:

① 先提取方面术语,然后用其他作者的方法进行情感分类,来实现AESC

② 通过联合或交互的方式实现方面词的提取和对应情感极性的识别

4. 提示学习是利用预训练语言模型知识的自然方式,其要求将下游任务调整为相应的预训练语言模型的自监督学习任务【关于提示学习详见尾部附录】

5. 阅读理解和提示学习明显的缺点:

① 耗费人力,且不能保证找到最匹配的查询答案。

② 不能充分利用预训练语言模型的知识

6. 由于上述缺点,本文提出一个端到端的MRCOOL框架,可以一次性处理AE、SC和AESC:

AE→阅读理解;SC→提示学习

三、MRCOOL Framework

MRCOOL总览:

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第3张图片

 3.1 Task Formulation

把AE、SC 、AESC三个ABSA子任务看做一个抽取(aspect, polarity)元组的任务。

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第4张图片

我们将AE作为阅读理解任务,把输入的句子X看做段落,把方面词A看做对模型提问的答案 

由于AE数据集不包含阅读理解的问题Q(与MRC模型不兼容),所以我们构造了一个专用的问题集合Q。问题集合Q在训练过程中可以优化其embedding,并在连续空间中为每个句子x搜索最优的最佳匹配问题

3.2 Aspect Term Extraction as Machine Reading Comprehension

先看图!

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第5张图片

如图所示,得到S后,接下来是方面词的提取(AE),我们采用两个独立的二元分类器来预测一个token是一个方面的开始位置还是结束位置,得到所有方面词的开始和结束位置以后,他们中间的便是aspect。

3.3 Aspect-level Sentiment Classification as Prompt Learning

这部分如果您详细了解过提示学习,就会觉得非常清楚!

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第6张图片

 在这部分中,我们将普通的情感分类问题,转化为将提示语句Q中[mask]处预测为预先指定的单词w(即从预先定义的答案空间中选取答案进行完形填空)的问题。

第一步:我们挑选了4个提示模板:

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第7张图片

第二步:拿到一个句子X和其中的一个方面词,分别将句子填到[CLS]与[SEP]中间,将方面词填到第一步模板中ai的位置(填充前是Ti,填充后是Qi),最终得到的形式(作为预训练语言模型embedding之前的input)。

如果感觉太抽象,看下图便一目了然!

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第8张图片

输入之后,embedding、encode,通过一个双层的MLP(防止模型稀疏)预测,得到预先定义好的答案空间中的答案(即对[mask]位置的预测,进行完形填空,如I felt the waiters was friendly)

最后,通过argmax函数,将预测[mask]位置得到的预先指定的单词w映射到真正的标签中(如I felt the waiters was friendlypositive),得到最终(ai对应)的情感极性

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第9张图片

【注】Verlalizer的作用:将预测[mask]得到的答案(通过算法)映射到真实标签

 模型流程总结:

当给定一个句子X时,我们的框架首先将它输入到MRC模型中,并接收候选方面词集合A,然后枚举A中的每个方面词ai构造四个与之对应的X的模板,提示学习模块接收它们并输出极性P,从而得到三元组——(句子、方面、情感极性)作为AESC的结果。

 四、实验

[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension_第10张图片

附录:

提示学习(prompt Learning)

对输入的文本信息按照特定模板(template)进行处理,把任务重构成一个更能够充分利用预训练语言模型处理的形式。简而言之,就是将输入文本作为一个提示 (prompt),接着拼一个(mask待预测信息的)语句,再让模型来对这个语句的mask部分进行完形填空(从答案空间中寻找答案),最后把找到的答案映射到真实的分类标签(如:good→positive)。【如果用一句话总结提示学习在情感分析中的应用,就是将待分类的text与提示模板(prompt templates)一起喂给模型,让模型完成完形填空的工作】

如果想更深入的学习提示学习,传送门如下:

[综述]鹏飞大神的Pre-train, Prompt, and Predict 

近代自然语言处理技术发展的“第四范式”

刘鹏飞大神原版论文:Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

参考文章:近代自然语言处理技术发展的“第四范式

本篇文献链接:https://aclanthology.org/2022.coling-1.217.pdf

【声明】由于本人能力有限,不免文中有错误之处,还请指正。

你可能感兴趣的:(论文阅读,人工智能)