Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective

Abstract

CVPR 2018,西北工业大学和澳大利亚合作的文章.
监督学习的方法显著物体检测方法通常需要大量的标注(labor-intensive),并且可能阻碍了学习到的模型的泛化能力。本文提出一种新颖的若监督方法,从别的弱监督方法产生的结果进行学习,这些结果通常带有noise,因此本文提出y = y’ + n的思想,学习一个潜在的显著性预测模块和一个噪声模块。

Movitation

非监督方法虽然在性能上比不过监督方法,但是通常是数据集独立的,可以应用到自然环境中。一些存在的非监督方法的结果虽然有噪声,但是却包含有用的信息。

Framwork

Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective_第1张图片
损失函数的设计:
分成两部分,最终的损失函数,是显著性预测模块的损失函数加上噪声模块的损失函数,同时用一个正则化因子进行权衡。
image
image
在显著性预测模块,直接使用已有方法的非监督方法的预测结果,与本方法的预测结果使用交叉熵损失。
image
在噪声模块,假设噪声服从N(0, sigma)。然后使用已有的非监督方法的预测结果建模p(SIGMA’),然后迭代优化q(SIGMA).
image
image
image

训练策略:第一轮训练,对noise model进行零方差初始化,训练FCN到收敛。

Experiment

基于deeplab v2-resnet101进行实验。
在7个数据集上进行测试,同时与监督和非监督的SOTA方法进行了对比。
值得一提的是,这里设计了3个baseline,BL1:直接使用伪标签进行强监督,BL2:使用伪标签的平均进行强监督,BL3:使用ground truth作为上界
Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective_第2张图片
Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective_第3张图片

Thinking

本文的一个主要思路就是从问题的本质出发,认为尽管一些非监督的方法不准确,但是实质上应该转化为真值与noise的组合,然后分别进行建模。建模方式中显然cross entropy损失是比如的,然后想办法让noise进行逼近就可以了。
如果是对于强监督方法,感觉比较难去做类似的工作。

你可能感兴趣的:(Saliency)