SWRM(2022)

论文题目（Title）：Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors

研究问题（Question）：具有语音识别错误的多模态情感分析的情感词感知多模态细化

研究动机（Motivation）：在某些情况下，文本情态中的关键情感元素情感词被识别为其他词，这使得文本的情感发生了变化，直接影响了多模态情感模型的性能。

主要贡献（Contribution）：

(1)提出了一种新颖的情感词感知多模态情感精细化模型，利用多模态情感信息动态重构带有错误的ASR文本的情感语义，从而实现更稳健的情感预测;

(2)通过深入分析，验证了情感词替换误差对最先进的MSA模型的负面影响;

(3)我们在三个真实世界的数据集上评估了我们的模型，实验结果表明我们的模型优于所有基线。

研究思路（Idea）：提出了情感词感知多模态精细化模型(SWRM)，利用情感线索动态精细化错误情感词。具体来说，首先利用情感词位置检测模块获取情感词在文本中最可能的位置，然后利用多模态情感词精化模块动态精化情感词嵌入。将改进后的嵌入作为多模态特征融合模块的文本输入，预测情感标签。

研究方法（Method）：

研究过程（Process）：

        1.数据集（Dataset）

        2.评估指标（Evaluation）

        3.实验结果（Result）

总结（Conclusion）：我们观察到SOTA MSA模型在实际应用中出现了明显的性能下降，通过深入分析，我们发现情感词替换错误是导致这种下降的一个非常重要的因素。针对这一问题，我们提出了情感词感知的多模态精细化模型，该模型通过融合情感信息动态精细化词嵌入，重构被破坏的情感语义。我们在MOSI-SpeechBrain, MOSI-IBM和mosi -科大讯飞的结果证明了我们的方法的有效性。在未来的工作中，我们将探索利用多模态信息来检测情感词的位置。