多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”

精细图像分类需要大量样本标记,但有些样本不容易标记。论文使用容易标记的样本,研究domain adaptation解决易获取样本与自然场景样本数据集转换的问题。这其中多任务的属性学习被用来提升性能。

论文要解决的问题示例,先获取有标记的样本,实际应用的场景有少许样本有标记,使用domain adaptation作为两个数据集之间的转换方法:
多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”_第1张图片

大部分的类别在某些已知的结构上与其他类别相关,比如,不同的车辆具有相同的车身类型和品牌。论文提出的模型包含多任务自适应目标,同时在属性级和类别级学习及适应识别。另外,对于仅有一个部分目标域数据集被标记的半监督的自适应,为标记样本的标签隐藏在属性中。

相关工作
属性级softlabel transfer,domain confusion。
使用属性学习提升adaptation。加强属性和类别预测的一致性。多任务学习可提升每个任务的泛华性能。

多任务的Domain Adaptation用于精细识别
类别间经常共享属性,目标域可能没有每个子节点的类别标记,树结构的更高层中很可能有图像。多任务学习的目标包含精细分类和属性的softmax损失,在其后增加属性一致性损失防止相互独立的分类器预测矛盾的标签。若某些类别目标标记存在,半监督自适应损失可以加在类别和属性层。结构如下图所示:
多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”_第2张图片
对于某一类别,尽管没有标记的图像,但标记的类别中有与其某些属性相同的。
1. 分类损失:
属性和精细分类softmax损失的加权和。
2. 属性一致性损失:
精细分类器有输出的类别具有的属性有可能与属性分类器给出的结果不同。但实际上,精细分类类别的属性应该与属性分类器的结果相同,论文增加属性一致性损失惩罚两者之间的不同。最小化属性分类器预测出的属性分布与精细分类器的对称版KL divergence。过程如下图所示:
多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”_第3张图片
f=[f1,...,fk] 表示k类的得分,为获得属性类别的得分,对f中来自同一属性的类别取均值,之后使用属性得分计算softmax分布。对每个属性定义一致性损失,即KL divergence:
多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”_第4张图片
最终一致性损失是每个属性损失的加权和。
3. 总损失
最终损失还包含softlabel 损失和domain confusion损失。

实验结果
多任务学习“Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach”_第5张图片

你可能感兴趣的:(深度学习,多任务学习)