基于深度学习的图像情感分析

1.摘要

分类问题是模式识别中的典型问题，模型的分类性能往往取决于两个方面，一是特征的选取，二是分类器的选择。本文主要研宄图像情感分析中的特征选取问题。不同于传统的目标分类问题，图像情感分类，是更抽象、更高级的图像理解，因而特征的选取十分具有挑战性。同样，对于检索问题而言，准确的图像特征表达是保证其准确率的核心所在。本文针对此类问题，提出了多种不同的特征提取方法。归纳起来，本文主要的研究贡献有如下三点：

1）提出了一种基于深度语义特征的图像情感分类方法。具体而言，一方面，本文提出并验证了在深度网络的基础上，使用不同语义特征以及同一语义特征的不同抽象层次对图像情感分类结果的影响；另一方面，提出了改进的多特征融合算法，通过改进的多特征融合算法，使得算法在传统的多特征融合算法的基础上，取得更为优秀的分类性能表现。

２）提出了一种基于视觉关注度的图像情感分类方法。具体而言，一方面，我们可以粗略地使用图像显著性检测的结果作为不同区域对于情感分类的相对重要性表示，通过对局部特征加权，获取最终的特征表示；另一方面，可以通过对网络的整体训练，让网络自动判断不同区域对情感分类的相对重要性，然后进一步获取加权的特征表示。这两种方法，通过优化特征生成机制，提升了特征的表征能力，从而进一步提高了图像情感分类准确率。此外，我们还分析了不同视觉关注度学习方法对最终学得的视觉关注度模型以及图像情感分类效果的影响。

3）提出了一种用于情感图像检索的图像特征提取方法。本文通过设计新的损失函数，在深度网络训练过程中，强化小的类内距离与大的类间距离的概念，极大地提升了深度模型抽取到的特征的辨识度，从而使得情感图像检索效果有了较大幅度的提升。

2.介绍

2.1国内外研究现状

图像情感分类方法从特征角度来看，主要可以划分为三个方向，即：基于低端视觉特征的图像情感分类方法、基于语义特征的图像情感分类方法以及基于深度学习的图像情感分类方法。基于低端视觉特征的图像情感分类方法，主要试图使用基础的人工特征来对图像进行情感分类。基于语义特征的图像情感分类方法，主要试图建立图像情感与诸如物体、场景等语义之间的联系。基于深度学习的图像情感分类方法，主要试图通过深度学习的方法，让网络自动学习对情感分类最有帮助的特征，其特征是通过学习而来，而非人工设计。Ｙｏｕ（2015）设计了一个深度卷积神经网络进行图像情感分类，并且利用反馈的机制，滤除训练集中标注错误的数据，进一步提升了图像情感分类能力。

基于深度学习的图像情感分类方法，己经证明了其在图像情感分类上的独特优势，但是仍然有很多方向等待探索。首先，深度网络往往可以提供更具表达力的特征，那实际应用中，应该如何使用深度语义特征进行图像情感分类？此外，不同深度语义特征应该如何融合，以期进一步提升表达效果？这些都是有待进一步探究的问题。其次，虽然深度网络，可以自动学习到对情感分类最好的特征，但是其与传统方法一致，直接从整个图像上提取特征，即将一整幅图像用一个固定维度的向量进行表示，而没有去强调不同图像区域对最终情感分类的不同贡献，通过之前的难点分析可以看出，这也是当前急需解决的问题之一。

2.2本文贡献

本文的主要研宂内容和研宄贡献归纳起来，总共有如下三个方面：
１）基于深度语义特征的图像情感分类算法：
传统的图像情感分类，通常主要借鉴低端的用于物体检测或者分类的特征描述子，或者是人工设计的简单的基于美学、心理学的特征，这些特征缺乏对一幅图像的整体感知，导致图像情感分类不够准确。众所周知，物体与场景是一幅图像的核心，与之前提及的特征相比，基于物体或场景的特征是更高级的语义特征，它们对图像内容的把握更为准确。传统的基于语义特征的方法，一方面语义特征由人工设计的低端特征构建而来，在语义表征能力上，不够准确；另一方面其将两者割裂开来，单独使用。这两方面的原因，限制了图像情感分类算法的性能表现。
本文通过采用深度语义特征，取得了优异的图像情感分类效果。具体而言，一方面，本文提出并验证了使用不同语义特征以及同一语义特征在不同抽象层次上对图像情感分类结果的影响；另一方面，提出了改进的多特征融合算法，通过改进的多特征融合算法，使得算法在传统的多特征紅合算法的基础上，取得了更为优秀的分类性能表现。
２）基于视觉关注度的图像情感分类算法：
常见的特征提取方法无差别地从整个图像上提取特征，而忽略了不同图像区域对最终情感分类的不同贡献。
为了强调该问题，本文提出了基于视觉关注度的图像情感分类方法。具体而言，一方面，我们可以使用图像显著性检测的结果作为不同区域对于情感分类的相对重要性粗略表示，通过对局部特征加权，获取最终的特征表示；另一方面，可以通过对网络的整体训练，让网络自动判断不同区域对情感分类的相对重要性，然后进一步获取加权的特征表示。这两种方法，通过优化特征生成机制，提升了特征的表征能力，从而进一步提高了图像情感分类准确率。此外，我们还分析了不同视觉关注度学习方法对最终学得的视觉关注度模型以及图像情感分类效果的影响。
３）基于深度学习的情感图像检索算法：
对于情感图像检索而言，抽取具有区分力的图像特征表示是其中的核心内容。传统的基于深度学习的图像检索方法，往往直接将己经训练好的用于物体或者场景识别的深度网络中的某一层拿出来作为特征表示，虽然相比较传统的特征提取方法，在性能表现上有了很大程度的提升，但是其并没有强调在图像检索中较为重要的两个概念，即小的类内距离与大的类间距离。
本文提出了一种用于情感图像检索的图像特征提取方法。通过设计新的损失函数，在深度网络训练过程中，强化小的类内距离与大的类间距离两个概念，极大地提升了深度模型抽取到的特征的辨识度，从而使得情感图像检索效果有了较大幅度的提升。

3.基于深度语义特征的图像情感分类算法

本章主要探索了语义特征在图像情感分类上面的应用。一方面，本章提出使用深度语义特征进行图像情感分类，具体包括使用不同语义特征不同抽象层次的图像情感分类算法；另一方面，提出了改进的多特征融合算法，包括基于微调双路网络的多特征早融合算法，以及强调不同特征分类结果对最终分类结果不同影响力的多特征晚融合算法。

4.基于视觉关注度的图像情感分类算法

本章主要针对图像情感分类中不同区域对图像情感相对重要性不同的问题，提出了两种基于视觉关注度的图像情感分类算法，一种是基于图像显著性的图像情感分类算法，该算法直接将图像显著性作为视觉关注度，对图像的局部特征进行加权，得到最终的图像特征，从而进行图像情感分类；另一种是基于视觉关注度自学习的图像情感分类算法．，相比较基于图像显著性的图像情感分类算法，该算法中的视觉关注度模块通过学习获得了感知不同局部特征对最终图像情感分类的相对重要性的能力，然后利用视觉关注度模块来预测不同区域的相对重要性，然后对图像的局部特征进行加权，得到最终的图像特征，从而进行图像情感分类。为了使视觉关注度模块学习到的能力更可靠，在训练时，我们加入了基于图像显著性的正则项来对其进行一定的约束，进一步提升了视觉关注度模块生成的区域相对重要性分布的准确性。

5.基于Center loss的情感图像检索算法

本章中，我们首先对情感图像检索问题进行了简单描述，考虑到类内距离以及类间距离对于图像检索的影响，我们提出了基于Ｃｅｎｔｅｒ ｌｏｓｓ的情感图像特征提取算法；然后为了进一步提高图像检索性能，我们又提出基于改进的Ｃｅｍｅｒｌｏｓｓ的情感图像特征提取算法.