【零样本草图检索】Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval

Motivations

sketch的数量和种类都很少,所以发展ZS-SBIR。而存在三个问题:sketch与image的domain gap;sketch的高度抽象;ZSL中从seen class到unseen class的语义迁移。需要合适的数据集能够包括上述挑战。

Contributions

1、发布新数据集QuickDraw-Extended。首先,数据集能模拟sketch与image之间的差距(比Sketchy、TU-Berlin更抽象)。其次,为了学习sketch与image之间的较好的cross-domain embedding,需要数据集足够大,包含了330000张sketch,204000张image,110个类别。

2、提出 cross-domain zero-shot embedding model。基础网络是triplet ranking model,此时在Sketchy、TU-Berlin上的效果已经优于之前的方法,可能是由于之前的数据集不够抽象而且缺乏多样性,简化了问题。为了学习更好的 cross-domain迁移模型,提出domain disentanglement strategy,通过强制网络学习domain-agnostic embedding来弥补domain gap,其中Gradient Reversal Layer (GRL)能够使得encoder提取sketch与image的交互信息。其次,提出semantic loss来保留语义信息。通过只对decoder输入端的负样本应用GRL,可以帮助encoder分离相似类别的语义信息。

Methods

整体框架分为两个主要部分,第

你可能感兴趣的:(Zero-Shot,Sketch)