[Paper Share - 5]DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations

导读
这篇文章是汤晓鸥,王晓刚团队的作品,收录于CVPR2016,可能又点老了,不过,对还没入门的我来说,看一看还是有收益的。文章主要说两个方面:其一,发布了一个比较大的数据集------DeepFashion(包含超过80万的图像,带有属性,衣服关键点和同一件衣服在不同场景中的标注);其二,提出一个深度模型------FashionNet,用于服饰检索。

1.Introduction

想要做深度学习,第一个会遇到的问题就是数据不够。在一份分类,属性预测,服饰检索这个领域里,前人已有些工作,但是数据集不是不公开就是数据集太小。另一方面,服饰检索会遇到几个挑战:1,衣服款式,文理,剪裁多种多样;2,服饰存在变形,和遮掩;3,服饰一般有很多不同的场景。比如展柜里,网上商店。没有一个强大的数据集,很难推动这个研究的发展,并且很难对比各个算法的优劣。因此,本文提供了一个比较大型的数据集------DeepFashion。这个数据集有3个特点:1,全面,数据集中的图片包含了丰富的信息,其中有类别,属性,关键点,和不同场景中的同一款衣服的标注(cross-domain pair correspondences);2,规模大,超过80万的图片,是前人数据集的两倍。3,开放,数据集对外开放。

2.The DeepFashion Dataset

2.1 图像来源

这部分主要讲述图像的来源。数据集有两个来源:1,购物网站;2,Google Image;

2.2 图像的标注

数据集主要包含一下几个标注。

  • 50个类别,1000个属性,其中属性分成5个组(texture, fabric, shape, part, and style),下图展示了一些样例。
  • 关键点,比如对于上衣,有六个关键点,分别在领子左右,袖子左右,下摆左右。
  • 映射对(Pair Annotation)不同场景中的同一件衣服对,比如,网店的,街上拍的,给出对应关系。
image.png
2.3 Benchmark

主要从三个方面来评价算法的表现。

  • 类别和属性的预测
  • In-Shop衣物检索。这个是用网店的衣物图去检索同样来源网店的图片。
  • Consumer-to-Shop衣物检索。这个是根据消费者子集拍的照片去检索网店的衣物。这个比较有挑战。也是最有应用价值的点。

3. Our Approach

网络结构
FashionNet使用VGG-16作为基础网络,然后,在最后一层接上3个分支,red,green,blue。如下图所示。

网络示意图

红色分支,用于提取图像的全局特征。
绿色分支,用于提取关键点的特征。
上面两个特征进行融合,然后用于后面的分类,属性预测和triplet训练(衣服pair的训练)。
蓝色分支,用于特征点的定位,并给出特征点是否可见(补充一点,数据集在标注的时候,即使特征点被遮挡,也不会被标出来,但是会指明被遮挡。)

Forword Pass
前向计算时,分三步走:

  1. 对于输入先计算蓝色分支,得到预测关键点的位置。
  2. 将预测的关键点信息用于绿色分支,提取关键点的特征,这里有一个关键点poolin 层。下图给出。
  3. 全局特征和关键点特征进行融合,concate,然后用于分类,和属性分类。

关键点Pooling层如下:


image.png

Backword Pass
反向传播时,考虑5个损失函数的加权:1.关键点的回归loss,2.关键点是否可见的softmax loss,3.类别的softmax loss,4.属性的交叉损失,5.同一件衣服的triplet loss。
训练时,把蓝色分支作为主要任务,红色分支和绿色分支作为辅助任务。所以,关键点的损失和关键点是否可见的损失,将会被加重。

4. Experiments

实验部分主要对比了两个方法。WTBI(where to buy it)和DARN(Dual Attribute-aware Ranking Network)

4.1 Results

Cagegory Classification
通过实验,文章对类别分类总结出三点规律:

  1. FashionNet远远超过WTBI和DARN。这说明,加入了关键点信息有助于分类。
  2. 当将衣物关键点替换成人体姿势或者人体关键点时,表现下降了6-9个点。再一次说明衣物关键点的有效性。
  3. 使用大越多的属性,分类的准确率越好。使用1000个属性会比使用500个属性要好。

Attribute Prediction
同样,属性分类也得益于关键点。

image.png

In-Shop Clothes Retrieval
在这个任务上也可以看到,关键点对图像检索的作用也是相当明显的。

image.png

Consumer-to-Shop Clothes Retrieval
虽然这种情况下的表现比上面in-shop低不少,但是关键点的加入效果显著。所以知道为啥把关键点作为主要任务了吧。当然也有可能正是因为关键点作为主要任务,才能在最终效果中体现出如此重要的作用。

image.png

4.2 进一步分析

然后作者做了一些围绕关键点的其他实验。


10

上图10,左边是不同关键点的检测率。右边表明属性(attributes)的加入能提升关键点的检测。毕竟有些属性描述了关键点,比如“fringed-hem”(流苏下摆)。

11

而图11左边则展示了,尺度变化带来的挑战比姿势带来的挑战更大。右边展示了几个类别的检索精度。
至此,本文已经结束。从这篇论文中,我们学到了一个如何提取一个有效的特征,与及图像的标注,大小,衣物的类别,姿态对图像检索效果会有的影响。


好,今天的分享就到这里。后期会继续写关于图像检索的论文分享。晚安,各位。
------少侠阿朱 2017.12.05于深圳。

转载注明处处呗。

你可能感兴趣的:([Paper Share - 5]DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations)