检索问题“Where to Buy It: Matching Street Clothing Photos in Online Shops”

将街拍衣物与网络在售衣物匹配,满足购物者的好奇心,作者构建了一个匹配数据库,街拍图像2w张左右,网络在售图像40w张左右,给一个输入衣物,找出其匹配的确定型号。

检索问题“Where to Buy It: Matching Street Clothing Photos in Online Shops”_第1张图片

作者使用了几种检索方法:
1.全图检索:AlexNet的FC6特征,进行余弦距离计算。
2.proposal检索,网络在售的图片没有标记框,提取100个proposal,再用余弦距离计算相似度。
3.相似度学习
使用三层全连接网,正负样本(匹配和不匹配的图像对),前两层全连接网友512个输出,使用ReLU激活,最后一层有两个节点,使用Softmax激活,正负样本分别是街拍图像中衣物的bbox和网售衣物的proposal,最小化cross-entropy损失:
这里写图片描述

作者首先训练了一个广义的相似度模型,然后对每类衣物微调,得到类别独立的模型:

几类衣物的top-k结果:
检索问题“Where to Buy It: Matching Street Clothing Photos in Online Shops”_第2张图片

你可能感兴趣的:(检索问题“Where to Buy It: Matching Street Clothing Photos in Online Shops”)