A Self-paced Multiple-instance Learning Framework for Co-saliency Detection文章阅读

摘要：
传统的co-saliency是抽取人工特征矩阵，这种策略缺少泛化到各种场景的能力。而且缺少生物机制理论，为了解决这个问题，提出一个新奇的任务。通过多示例学习和自调节学习。一方面适合矩阵测量方法（评价方法），发现common部分在co-salient 区域在自学习方法通过MIL，另一方面适合学习可靠和稳定性通过SPL方法。
介绍：
MIL去学习image中object和context的反差，也学习group中image的一致性。MIL的目标是基于两个标准去学习预测每个instance：最大化类外距离，最小化类内距离。（这是co-saliency的精髓，都是在想怎么去解决这个事情）。按照这一标准，这个类内和类间的距离都是从data中自动的学习的。
怎么去解决这个问题的呢？
在group的每一个image上至少有一个superpixel是正样本，其他的group的每一个image都是负样本。co-saliency的目标就是分离co-saliency 目标区域从图像的背景中。因此MIL是非常是用于co-saliency检测任务的。
MIL的一个重要部分，是迭代更新训练实例的正样本，和实例检测迭代。由于这些实例的标签是虚假的定义在一个弱监督的方式下，MIL是一个框架，可以知道可靠的实例注释和实例检测是急迫的。
最后，我们提出一个self-paced【13】 MIL框架。提出一个图2,的框架。在特征提取之后，使用SP-MIL去迭代的更新co-saliency目标检测器（w，b）和对于训练实例的标签在SPL中，最终，补充了考虑邻近超像素关系，就是空间关系。

本文的贡献：
1、提出一个新奇的co-saliency 检测框架，是自学习方法不用手工设计矩阵
2、第一个发现了co-saliency和MIL之间的关系，将co-saliency问题转化为简单的MIL问题(multi-instance learning)
3、 SP-MIL公式，集成SPL在MIL，促进MIL去抽取置信知识从学习到的高度迷惑实例检测结果。
4、spl的改进，新的正则项，考虑了easiness，diversity，real-valued 采样权重。
image co-segmentation 和 co-saliency的区别。
1、co-segmentation 方法分割相似的但不是salient的背景区域
2、co-segmentation需要半监督或者是交互见得，目标区域要提前有标签，co-saliency是无监督的或者是若监督的。因此后者答题时应用在一个weaker 条件下 能够使用去获得更多的先验信息对于分割common object
MIL：因为弱监督，迭代学习不稳定，甚至是不可靠的解决方法。本文提出一个MIL方法基于SPL理论，
solid theoretical background 可靠地理论背景，指导MIL去达到更可信的信息从可靠的实例到更容易混淆的
3.1问题转化
group image中k-th image的至少有一个superpixel是正例，其他group image 中所有的image中，所有的superpixel都是负例，本文的co-saliency问题转化为MIL，多实例学习问题。
3.2SP-MIL问题
[图片]
以上是优化的公式，
最后一项是SPL正则化项，
[图片]
因为v是正数，第一项是L1范数，第二项是L2,1范数
第一项是从传统的SPL中继承下来的，支持选择容易的而不是复杂的examples。如果没有第二项，就是传统的SPL的正则化项【14】提出的SPL方法。导致选择训练或者不训练，不是1就是0.一个样本有更小的loss是容易的样本，因此优先学习，反之亦然。（更容易判别的v就高，传统的spl不是训练就是不训练，不是0就是1）
第二个正则化项支持选择不同的样本（不是只有训练和不训练两种）在更多的bag中。第二项导致了group、bag-wise 的v的稀疏表达。但是也有可能导致相反的结果对于group的稀疏性。这个是个凸函数。应该是保证他非稀疏的。在不同的image（bag）的非零权重v分散开来，这一项才会大，他的负数才会小。
3.3优化策略
[图片]
优化（1），可以近似的获得通过迭代优化参数{w,b},{y1,…yK+} v
固定y和v，优化w，b。这一步的目标是更新分类器对于检测显著区域，（1）转换为：
[图片]
这个是标准的SVM求权重的问题，模型是凸的可以很容易用现有的工具箱来求解【16】
easy sample first：self-paced reranking for zero-example multimedia search ACM14

固定w,b和v优化y，目标是从当前的分类其中学习实例的假标签，重新改变公式为：
[图片]
这个问题等价于分解成子问题，对每个y求导。
[图片]
定理一：
[图片]
固定w,b和y，优化v，
更新实例的权重去反映不同的重要性
这个模型是凸函数，利用算法2去优化，全局最小性能由定理2提供。
1、容易的实例，就是很正样本的实例，l距离小于，选择进training，v=1，i是superpixel在image中的排序，损失值，当实例l大于不会作为学习对象，v=0
2、实例l小于一个值，这个值不知道是什么意思。将会被作为训练样本，v=1，由于阈值是逐渐减少的，，随着每张image的superpixel的排序的增长的而下降，
[图片]

[图片]
算法3，综合来说，整体的model是凸函数，单调上升的。
[图片]
4、co-saliency 检测通过SP-MIL
特征提取
每张图像，首先抽取特征通过预训练在imagenet数据集上面。这个CNN网络是【34】的CNN s。Return of the devil in the details: delving deep into convolutional nets。所有的5 层卷积层上采样到原始图像尺寸。因此，我们获得一系列的superpixel的feature maps。按照【35】的方法提取superpixel的特征。
co-saliency 推理
对于fig2，初始化pseudo labels和spl 权重对于训练集。然后训练co-saliency检测直到收敛
按照【36】去假设显著区域在一个single image 更可能包含co-saliency 目标区域。

方法：
在这一部分详细的应用SP-MIL算法，算法3自动推导每个超像素区域的co-saliency，首先是初始化问题。如图fig2，首先初始化虚假的label和spl权重对于训练实例。迭代co-saliency检测直到收敛。迭代w和b。在固定的初始化label和spl权重。
怎么初始化label和spl权重？
由于co-salient 目标区域和图像背景是区分的表达。按照【36】假设单幅图像中显著目标更可能在co-saliency中显著。因此，一些现有的single image 显著检测方法可以采纳去粗略的初始化训练样本。
本文中，我们使用【37】的基于图的manifold ranking方法。在获得superpixel的初始分数以后，我们选择最高的10%超像素作为正样本。例如 group image 的image作为正样本。对于负样本，我们抽取gist和颜色直方图特征，使用平均的图像特征作为group的图像特征，按照【38】的方法，去寻找最从其他的image group中相似的20个相似图像，基于欧氏距离。最终，寻找到的图像中的倒数10%的超像素，作为负样本。正样本的初始化权重是按照【37】的初始化显著性分数，当这个初始化负样本权重等于1。
【37】的manifold ranking 方法
然后，我们讨论终止条件问题。更新co-saliency检测器和labels和spl权重一样样，如图fig3更新label和spl权重。生成一个强健的co-saliency检测器。
[图片]
算法是否收敛的判断？
当前的正样本迭代推导出两个高斯分布的KL散度。和之前的正样本迭代推导出KL散度。（KL散度：表示两个概率分布P和Q差别，非对称性度量）
收敛的条件是：
[图片]
当带星号和无星号在当前和之前的迭代计算，分别的。当这个收敛条件达到，终止迭代训练过程，预测co-saliency 对于每个采样，超像素区域的显著性是
[图片]
w，b是算法3最终的收敛系数。这个过程是更新label和spl权重的。
4.3空间map恢复
SP-MIL的每个superpixel被考虑作为独立实例，在学习过程中。因此，spatial relationship是另外一个需要研究的方面。为了研究adjacent superpixel。采用graph model去平滑co-saliency 值，
自调节阈值？
一张image，每个superpixel co-saliency值的平均值，去选择前项superpixels，
使用前景去计算co-salinecy 值对于其他的超像素在图像像中，通过ranking function
[图片]
q是二值化向量，代表在一张image中哪个superpixel是前景。a=0.99
基于图模型，忘了图模型的公式了，但是就是根据阈值来判定出来的前景，用这些前景的显著值来计算毗邻的superpixel值，最终第K个image的每个superpixel的显著值是
[图片]
5、实验结果