深度无监督显著性检测:多个Weak Label的伪监督

论文来源:2018 CVPR
Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective

最近在刷今年CVPR的时候发现了这样一篇有点意思的文章,整理了一些思路和想法,留在这篇博客中分享给大家。

  1. Motivation
    文章的出发点首先就引人入胜,是不是在深度学习流行的当下,handcraft的算法就毫无用武之地呢?所以这篇文章针对于如何高效的利用existing的handcraft算法 (也就是所谓的“Multiple Noisy Labeling”),来构建stronger的伪监督,从而实现无监督的操作。正是因为同时利用了多种handcraft的传统算法,所以得到的效果也是不差的。
  2. 思路
    如何同时利用无监督算法的dataset-independent性,和深度网络的powerful learning capacity性?

    noisy label视角(核心创新点)
    将现有的各种无监督算法的结果看成是noisy but informative 的label,他们利用了handcraft的人工先验知识,但是一般会有一定的method-specific的偏倚。如何克服存在的noise,这篇文章采用的是对noise进行建模(而不是SBF中利用intra-fusion进行noise去除,详见 ICCV 2017 Supervision by Fusion: Towards Unsupervised Learning of Deep Salient Object Detector)。
    – 整体框架
    a. saliency predction 模块 –> 将original image映射成saliency map(隐变量)–> deterministic way
    b. 噪声建模 –> 拟合多种无监督算法产生的noisy结果中的noise –> probabilistic way
    深度无监督显著性检测:多个Weak Label的伪监督_第1张图片

  3. 算法
    损失函数
    我们的思路是将每个handcraft的结果建模成显著性预测模块的结果 + noise结果 这里写图片描述,其中这里写图片描述是对噪声分布qi的采样:
    这里写图片描述 为我们生成的显著性map。网络的损失函数为这里写图片描述

显著性预测模块 – For Prediction Loss
通过显著性预测模块,我们可以得到隐变量,然后将其加上噪声模拟值,以此来拟合目标值。因此Prediction Loss涉及来衡量拟合值和真正handcraft无监督结果之间的偏差
这里写图片描述
这里写图片描述

噪声模块 – For Noise Loss
噪声模块用来衡量真实的handcarft无监督结果与显著性预测模块输出结果之间的误差,定义为这里写图片描述。 由于这个结果还收到网络参数的影响,因此其准确的后验概率不能直接求得,所以我们采用顺序性的优化方法得到
这里写图片描述
这里写图片描述
这样我们可以更新 这里写图片描述

你可能感兴趣的:(机器学习,深度学习)