多模态情感分析研究综述 论文笔记

论文标题

《多模态情感分析研究综述》

引言

多模态情感分析现已成为自然语言处理领域的核心研究课题之一，分为两类子课题：
1、叙述式多模态情感分析
2、交互式多模态情感分析

论文学术结构

1、总体介绍

从情感分析这个大方面出发，结合现代社会人们利用多媒体的趋向性（趋向多种媒体形式），引出两个多模态情感分析的子课题，由此展开叙述。

2、介绍叙述式多模态情感分析

1）提出3种多模态融合方法：特征级融合、决策级融合、包含两者的混合融合。

a.特征级融合：每种模态的特征向量通过特征融合单元融合为一个多模态特征向量，然后对组合特征进行决策分析。（多到一先融合再分析）
优点：可抓取多模态特征间的相关性，帮助更好地完成情感分析。
缺点：各模态特征来自不同语义空间，在时间、语义维度上存在较大差异，不能直接合并，需要将各模态特征映射进共享空间。

b.决策级融合：每种模态特征被独立地抽取和分类，得到局部决策结果后，融合各个结果为决策向量以获得最终决策。（逐个分析后融合再分析）
优点：相比特征级融合更简单自由，可以自由选择最适合的特征提取器和分类器，产生更优的局部决策结果。
缺点：多模态分析过程的时间成本迅速提升。

c.混合融合。融合上面两种方法，扬长避短。

2）静态多模态情感分析（图片、文字）。

a.基于机器学习的方法。（统计学+机器学习算法）
这种方法将图文情感分析视为一个监督性的分类任务，通常涉及大规模标注数据集和训练分类模型。由于标注和训练数据的规模大，机器会形成一定规律，有较高的识别率。但是该方法特别依赖前期的特征工程（数据集+模型，亲测很费人力和时间……）

b.基于深度学习的方法。
这种方法性能较高，若有同等的数据量，胜于机器学习，而且不需要繁琐的特征工程，适应性极强。但是该方法也需要海量数据支撑，在小数据集上经常过拟合（为了得到一致假设而使假设变得过度严格，数据量不够多），调参难以实现，训练时间长。

总之，二者都有缺点，但是深度学习>机器学习。

3）动态多模态情感分析（语音、音频、视频）

a.基于机器学习的方法。
与静态类似，同样需要特征工程，受限于多模态文档表征的效率问题，但是识别性能好，学习时间短，需要数据量较小。

b.基于深度学习的方法。
与静态类似，避免了繁琐的特征工程，但仍有不足，有待提高。

3、介绍交互式多模态情感分析

1）交互式多模态情感分析是叙述式多模态情感分析的继承，又有别于它，更具有挑战性。（人们之间相互影响、思维跳跃性和不定性）
2）多模态（交互式）会话情感数据集。
多名学者自主提供数据，建立数据集，国内外皆有，可以互相借鉴和使用。
3）多模态会话情感分析模型。
多名学者自主建立情感分析模型，早期两个典型模型：HMM、影响力模型。学者在建立模型时不断改进，考虑周全，重视话语间的交互影响，以得到更好的模型。

4、多模态情感分析存在的交互建模科学问题

1）多模态情感分析在交互方面存在弊端，学者基于基础概率论的研究方法存在局限性。
2）模态内的词项交互问题。
单词/词语之间关系复杂，有时会有一词多义的情况，因此需要解决此问题。相比文本情感，图像情感涉及更深奥的抽象性和主观性。
3）模态间的多模态交互问题。
多模态交互旨在整合多个模态信息，建立模态间的关联与交互，包含多种媒体数据间的交互、特征间的交互和决策间的交互。

a.数据级交互——通过多模态学习它们潜在的共享信息。

b.特征级交互——学习一个共享空间以至于能将不同模态的特征分别映射至该空间内完成融合。

c.决策级交互——目前已有的方法忽略了模态之间的相互干涉，可能导致不同的结果，未来趋向如何建模并形式化该问题。

4）模态外的话语流交互问题。
话语是人们交流的媒介和手段，与词语类似，话语也有不同的内涵和交互性，因此该问题也是未来一个重要课题。

5、结束语

多模态情感分析越来越重要， 多模态情感挖掘值得进一步研究，叙述式多模态情感分析和交互式多模态情感分析发展较成熟但仍有不足。多模态词项、话语间的交互成为未来重要的课题，发展多模态决策交互模型以及提出更一般性的交互理论体系与形式化建模思路亟待研究。

阅读论文初体验

1、拿到这篇论文初次浏览之后，我大概了解了本篇论文的核心思想，与实验室的研究方向一致。总体而言这是一篇并不晦涩难懂的论文，文中的每个观点都很清晰，而且列举了很多前人的研究（previous research），偏向介绍型，没有深奥的数学知识的列举和运用，不像我之前看的R-CNN目标检测那篇，几乎全程懵逼 ，硬着头皮才看完。

2、这篇论文的主要目的是揭示和点明时下比较受关注的课题——多模态情感分析，阐述了先前众多学者投入大量时间研究此项目，以及该课题未来的发展趋势，作者的介绍中规中矩，留有很大的想象空间给读者，让读者思考延伸性的问题。

3、文中介绍的多模态情感分析也是我比较感兴趣的课题，这篇论文让我初步了解情感分析相关的知识和发展趋势，以及研究所使用的方法（机器学习、深度学习）。人与人之间的情感交互是当下比较热门的话题和切入点，通过对人们使用的文字、图像、音频、视频、词语、话语等进行分析，便可研究和探索人们的心理和交流的复杂性，因此，多模态情感分析的作用不可小觑，此项研究的前景很广阔。

思维导图