多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”

论文使用多任务学习框架进行精细的车辆分类,同时学习分类和相似度约束。车辆分类可以分为多层,如品牌、型号、年款,为了对多层之间相关性进行建模,使用triplet loss,将标记的结构如hierarchy的或者shared attributes嵌入到框架中。

为了获得精细粒度的特征表示,一些方法加入similarity 约束,如contrastive、tiplet损失。直接使用相似度约束在找相同的实例中比较有效,但分类的精度与分类损失相比要低。

相关研究
细粒度分类相关的研究,part-level加object-level信息,distance-metric学习。相似度约束学习到的特征表示一般用来验证。有论文用softmax loss+contastive约束,本文使用triplet约束+softmax loss。

方法描述
sotmax 损失:
多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”_第1张图片
triplet loss,三元组(r,p,n),r是参考图像,p是与r相同类的样本,n是不同类的样本:
多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”_第2张图片

两个损失的加权组合:
这里写图片描述

联合学习的网络结构为:
多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”_第3张图片

嵌入标记结构:
对于两层结构,构造四元组 (ri,p+i,pi,ni) ,负样本包括在粗糙层同类的样本 pi ,和不同类的负样本 ni 。四元组的损失可以分成两个三元组表示:
多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”_第4张图片

实验结果
多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”_第5张图片

你可能感兴趣的:(深度学习,车型识别,多任务学习)