阅读笔记—Robust Image Sentiment Analysis using Progressively Trained and Domain Transferred Deep Network

由Jiebo Luo等人发表在AAAI 2015上关于图片情感分析的一篇文章，主要目的是将图片分为情感上正负两类。根据文章标题中的关键词对此文章可以做如下介绍文章作者做的两件事：第一，在CNN的基础上，作者提出了一套PCNN的深度模型，对数据集Flickr做情感分类；第二，将Flickr上训练得到的PCNN模型做领域迁移（domain transfer）适应到数据集Twitter上。

PCNN

作者采用的CNN模型如Figure 2所示，在输入层每张图片被resize成256*256大小。

数据集Flickr有将近45万张图像，其中401,739张被作为训练数据，44,637被用作测试数据。作者认为，Flickr是弱标记的，是带有噪声的。如果只是采用一般的流程训练得到一个CNN模型，这样是不够的。为此，作者提出了一套如图Figure 3所示的PCNN模型。PCNN模型的训练主要包括以下几个部分：

1 首先用401,739带有标记信息的训练图像迭代300,000次训练CNN模型

2 用训练得到的CNN对训练集做预测，根据预测值随机采样样本（情感易于被CNN区分的样本会以较大概率被采）

3 用上步随机采样得到的369,828个训练样本迭代100,000次微调CNN模型得到最终的PCNN模型

领域迁移

领域迁移主要做的是将Flickr训练得到的PCNN模型迁移到数据集Twitter上。Twitter数据集上包含1269张带有人工标注信息的图片。在做领域迁移时，采用Twitter的训练数据微调Flickr数据集上训练得到PCNN模型。作者采用5重交叉验证的方法说明算法的优良性。

总结

1，面对弱标记带有噪音，弱标记的数据，如何提高CNN模型的精度，作者提供了思路

2，利用大数据集上训练得到的模型解决当前数据集样本不足问题，是近几年比较流行的一个做法。