面向目标的多模态情感分析方法

面向目标的情感分类意在识别出评论中每个观点目标的情感极性。

目前方法的不足有：

 之前的情感任务主要属于nlp的研究内容，依赖处理问题文本内容，没有考虑其它类型的信息源，其他数据可能潜在的补充文本内容并增强这些基于文本的模型，提高最终的分类准确率。

现有的大部分模型都只是随机初始化其模型参数，但多模态情感分析数据集少规模小，导致模型在小型数据集上训练后在验证集上效果不佳。

在日常生活中，人们通常针对一个或多个目标对象发表观点，关联的图片则倾向于突出显示该焦点目标，且由于评论文本的简短和非正式，有时候很难仅凭文本就判断出目标对象的强徐，关联的图片很有可能有助于反应评论者对目标对象的情绪。

因此，探索出如何构建意见目标与文本视觉之间的对齐方法以对同一模态内不同维度的信息分配合理的权重是有意义的。

目前现有的不同模态之间的融合方法相对来说较为简单，主要的特征融合方式主要分为早期融合和晚期融合两种，这类工作简单的将图片数据和文本数据结合起来，而忽略了图片和文本之间的结构化信息耦合，导致文本和图片融合后的最终特征向量输入到分类器进行情感机型预测的效果不佳。

目前在多模态情感分析的研究中存在四个难题：

（1）如何选取网络模型对不同模态的信息特征进行提取

（2）如何对单模态中提取出来的特征进行进一步的重要性评估，选择出最有助于目标情感识别任务的特征，各个模态的信息之间可能存在一定的联系，如何发现并构建他们之间的关系，使得不同模态的信息可以相互作用

（3）目前现有的不同模态间的融合方法相对来说比较简单，导致多模态的特征无法有效的融合，选择在何时将不同模态的特征进行结合以及如何更加有效的结合 各个模态的特征去训练模型进行情感分类

（4）不同模态对于情感分类的贡献程度不同，如何根据情感分类的准确性来合理分配每种模态所占的比重。