简笔画检索“Sketch Me That Shoe”

http://www.eecs.qmul.ac.uk/~qian/Project_cvpr16.html

问题提出及应用
根据绘制的简笔画进行图像检索，存在几个挑战：
1.跨域精细比对
2.简笔画高度抽象
3.数据少

简笔画存在一定的应用空间，比如下图搜索商品，还有人脸简笔画库CUKH Face Sketches。

网络结构
论文使用的基准网络结构是sketch-a-net，对其进行了两个改动，一是由ImageNet提取的边缘预训练，二是对数据进行了增强。

精细实例级 SBIR 数据库
1.有1432个简笔画和图像，716个图像对，419对鞋子，297对椅子。
2.数据标记，按照相似度标记不大可能，按照1）属性标记；2）生成最相似的前10个图像；3）三元组标记

网络模型
网络使用三元组损失函数学习，给定三元组 t=(s,p+,p−) ，损失函数为：

训练时，网络有三个分支，分别为简笔画，正样本和负样本，如下图所示:

网络训练分四步：
1.预训练Sketch-a-Net，使用ImageNet的边缘图
2.使用250类的TU-Berlin微调网络
3.使用ImageNet和TU-Berlin的数据进行三元组损失预训练
4.使用椅子和鞋子的数据微调

数据增加
根据外轮廓比内细节重要，长的笔画比短的重要的特点移除一部分笔划，或变形一部分笔画对数据增加。

实验结果