Weakly Supervised Object Recognition with Convolutional Neural Networks

nips2014--Weakly Supervised Object Recognition with Convolutional Neural Networks

Authors：Maxime Oquab,Ivan Laptev,Leon Bottou, Josef Sivic.

论文理解 ,属于前面他们cvpr2014工作往weakly supervised learning的一个拓展！

=====================================================================================

1.背景与贡献

1.1背景吹水

weakly supervised learning 最近在CV里也越来越hot了，比如说在object detection问题上，以前的fully supervised learning是把每张图片里的objects 的label以及这些objects的bounding boxes都提供给supervised learning algorithm （SIFT，BoW，HOG+SVM，或者DPM）去求出model，而现在大家都这样认为，觉得那些人为标注的bounding boxes首先是费时间，数据专员压力大，其次由于是人为，存在很多主观的因素在里面，很容易带来bias。从而有人就转向了weakly supervised learning，觉得只要给出很少的信息，从算法和策略方面去解决问题，比如在object detection上，在训练集上，我只要知道这张图片里有哪些classes，而不需要知道how many do objects of each class，以及它们的具体的position和size等信息，想对于前面来讲还是一个很弱的限制条件了。

1.2贡献

文章把weakly supervised learning（这里只用到了image-level的annotation）与CNN融合来解决object recognition问题，同时网络产生的maps能从杂乱的背景中localizes objects，作者claim出的结果在Pascal VOC 2012的效果甚至好于fully supervised learning（每张图片annotated with object labels + corresponding bounding boxes）。

2.网络架构

用的还是作者上一篇cvpr2014的模型，

、

具体参考上一篇blog的解释，有点新奇的一个东西来了，convolutional adaptation layer（也就是今年cvpr15很火的一个概念fully convolution），从Rob Fergus和Yann lecun带领的NYU参加imagenet2013的比赛发出的那篇Overfeat引出，意思就是把fully connected layer换成了卷积，全连接其实就是一个卷积，只是它的kernel的大小是输入的大小而已，假如把kernel变小点就是卷积了，同时用这样的方式可以起到在原图上做sliding window的效果，从而在中间层共享了，避免了很多的卷积运算。通过这样的方式，最后一层softmax的输出从之前的1＊1＊N变成了一个n＊m＊N的长方体了，其中N表示class的数量，n表示在x轴上的sliding window的个数，m表示在y轴上sliding window的个数(这里的sliding window的step-size可能就比较大了，具体跟网络有关)，现在对这张图片产生出了n＊m＊N的长方体，接下来就是一个max-pooling的操作，对每个n＊m的矩阵做个max，得到1＊1＊N的数组了。

3.训练与Inference

用multi-label的目标函数去优化训练，在这里用到多label的目标函数：

上面介绍的其实是在某个尺度下面的训练，我们知道object在图片中有不同的尺寸变化，上面的只能处理固定尺寸的object，从而文章用了多尺度处理，具体是先把图片拉成500＊500，然后随机抽取一个数s，文章中s=［0.7，1.4］，把图片rescale到s倍，再在这个上面做上面介绍的在某个尺度下训练。

在Inference阶段，作者也是同样normalized 到500＊500，然后进行s=0.5到3.7步长为0.05的尺寸缩放或者拉伸，的到66个不同的尺寸，在每个尺寸下做做inference。