Image Emotion Computing（2）

5. 实验

       为评估PAEE 特征的有效性，我们在 IAPSa[18]，Abstract[16] 和 ArtPhoto[16] 数据集上进行了情感图像分类，并在 IAPS 数据集实验了情感图像回归。总体上，基于艺术原则的情感特征获得的分类准确性提高了约5％，均方误差减小了0.2 [35]，离散和连续情感分布预测方面，基于 multi-graph learning 的情感图像检索和基于情感的图像音乐化的详细结果在文献[38]，[37]，[43]和[42]中说明。

       接下来是正在进行的个性化情绪分类的实验结果，我们用精度、召回率和 F1-Measure来评估不同方法的效果。对每个观众我们都将50％的图像用于训练，其余的用于测试，随机将8000幅图像分为80组以加速计算和节省内存，每次只对一组进行实验，最终计算所有实验的平均性能和标准偏差。作为基准采用三种最先进的分类器：朴素贝叶斯(NB)[16]，支持向量机(RBF核)(SVM)[15,35]和图模型(GM)[28]，其中[28]的社会因素和我们的提出的视觉特征相结合。

       图3显示了精度、召回率和F1在不同特征[43]和学习模型下的初始平均表现，需要注意的是，GM和RMTHG只考虑视觉特征用于比较，缩写为GM(V)和RMTHG(V)，通过结果可以看出:(1). 一般来说，多特征融合的效果要好于单一特征，这可能是因为各个特征优势互补; (2). RMTHG的方法在几乎所有特征上都高于基准线。

       我们还评估了不同因素对于我们方法的影响，在无视觉内容(RMTHG-V)、社会背景(RMTHG-S)、时间演变(RMTHG-T)、位置影响(RMTHG-L)的情况下也进行了实验，RMTHG-T意味着所有顶点的历史图像集都是空的。这儿考虑了所有的视觉特征，图4是情感分类的平均效果而图5是在F1指标的表现，我们可以发现: (1). 综合各种因素能使分类效果大大提高，这表明感情收到了这些因素的共同影响; (2). 对于GM，文献[28]中提出的组合社会因素可改善最终结果，虽然提升不是很理想; (3). 这些因素对于情感感知的影响是不同的，平均来看，视觉内容 > 社会背景 > 时间演变 > 位置影响。

       一些有意思的地方表明了我们方法的有效性：(1). 通过比较图5中RMTHG(V)和RMTHG的预测结果，预测负面情绪的成绩明显高于积极情绪，这意味着这些因素在负面情绪的个性化感知中扮演着更重要的角色; (2). 悲伤是个特例，时间演变要大于社会背景对它的影响，从图5中可以清楚地看出，除了悲伤之外，社会情境的表现增益大于时空演变对所有情绪的影响，这可能是由于悲伤往往是一种持久的情感[24]。

6. 总结和展望

       本文从不同角度研究了情感计算的基本问题，对于以图象为中心的IEC，我们首先提取基于艺术原则的情感特征来识别主体情感，然后通过共享系数学习预测离散和连续的概率分布；对于以用户为中心的IEC，我们提出了 rolling multi-task hypergraph learning，将多种因素结合起来进行个性化情感感知预测。通过大量实验表明，对于不同的IEC任务，我们的方法优于国家最先进的方法。

       有几个问题需要探讨和讨论，对于基于艺术原则的情感特征，问题是如何用更有效的方式量化这个原则而且做到实时性更高，对于个性化的情感预测，首先将不同的上下文特征与深度学习特征相结合，其次是探索不同的因素，选择适合于个性化情感回归的机器学习的方法。对于情感分布预测，第一个问题就是如何将其他因素与视觉特征相结合起来，第二个问题则是是否可以尝试使用无监督学习(unsupervised learning)方法在大量数据中自动挖掘情感结构。对于基于情感的应用，我们计划在不改变高层次内容的情况下修改图像以传递图像原有的感情。至于现有的方法中哪些可以修改低层次的特征(如颜色、纹理等)还有待讨论。

致谢

中国国家自然科学学基金资助项目 (No. 61472103) 和重点项目(No. 61133003)

参考文献见： https://www.jianshu.com/p/08d2a72a167f

原文链接： https://www.jianshu.com/p/5cc0924e9124

转载请注明出处