Cross-domain Image Retrieval with a Dual Attribute-aware Ranking Network

ICCV2015

contributions:

                    1.数据集，450000线上图片，90000线下，91,390图像对，每张照片有5-9个语义属性类别，像素800x500

                    2.DARN网络：使用两分支网络结构，消除online和offline数据集间的差异

                    3.使用的是树状结构内嵌fc结构语义学习的方式处理细粒度特征

 

总体的网络结构

1） 总体上是两个分支，一个分支接收一个数据集，在分支顶部会产生可以比较的信息。

2） 然后分支中主要是卷积结构，第四个卷积层后面跟NIN中介绍的MLPConv，就是卷积模板跟堆叠的FC。然后总体上再跟两个FC。

3） 再在分支结构的顶部，加入树结构的FC层，对语义信息进行编码

4） Triplet-based ranking loss 可以增加特征的可区分度，去除并非真正起作用的特征，separates the dissimilar images with a fixed margin——这个总体类似于SVM的目标函数，事实上也确实是这样：Loss(a, b, c)= max(0,m+dist(a, b)−dist(a, c))，其中a:offline,b:online same,c:onlinedissimilar。

5） 此外，FC1编码的更多是全局的特征，会丢失小的局部特征。作者的方法是除FC1外同时考虑卷积层，使用max-pooling对靠前的卷积特征层下采样，类似于roi-pooling的形式。然后结果与全局特征组合在一起。

6） DARN是衣物检索的网络，在应用该网络之前，需要把人体衣物检测并裁剪出来。使用的是Rcnn，用来识别并将衣物裁剪出来

检测精度对比