论文笔记22 -- （Vehicle ReID）Multi-Domain Learning and Identity Mining for Vehicle Re-Identification
《Multi-Domain Learning and Identity Mining for Vehicle Re-Identification》
罗浩等大神在CVPR2020 AI City Challenge挑战赛中车辆ReID任务的方案。
@inproceedings{he2020multi,
title={Multi-Domain Learning and Identity Mining for Vehicle Re-Identification},
author={He, Shuting and Luo, Hao and Chen, Weihua and Zhang, Miao and Zhang, Yuqi and Wang, Fan and Li, Hao and Jiang, Wei},
booktitle={Proc. CVPR Workshops},
year={2020}
}
论文：点这里
代码： 点这里，有代码依然是件很关键的事情！！！
Workshop：点这里
Abstract
本文介绍了针对AI City Challenge 2020（AICITY20）的Track2的解决方案。Track2是具有真实数据和合成数据的车辆重识别（ReID）任务。
本文方案基于作者在person ReID任务上提出的baseline with bag of tricks (BoT-BS)。首先，提出了一种多域学习（multi-domain learning）方法，用来结合真实数据和合成数据来训练模型。然后，提出了ID挖掘（Identity Mining）方法来为部分测试数据自动生成伪标签，这比 k-means聚类更好。使用具有加权特征的小段轨迹级别（tracklet-level）的re-ranking策略对结果进行后处理。最后，使用多模融合（multiple-model ensemble），本文方法的mAP达到0.7322，在比赛中排名第三。
1. Introduction
AI City Challenge是CVPR2020的一个研讨会。它专注于不同的计算机视觉任务，以使城市的交通系统更具智能。本文介绍了Track2的解决方案，即城市规模的多摄像机车辆重识别（ReID）。
2. Related Works
2.1. Deep ReID
2.2. AICITY19
由于AICITY20是从AI CITY Challenge 2019（AICITY19）发展而来的，作者表示AICITY19的某些方法对他们的解决方案很有帮助。举办方在[15]中概述了一些团队的方法。由于可以在AICITY19中使用一些外部数据，因此去年有很多不同的想法。Tan等 [21]使用了一种基于从卷积神经网络中提取视觉特征，并从行进方向和车辆类型分类中利用语义特征的方法。Huang等[7]利用车辆的语义属性来联合训练带有ID标签的模型。此外，一些团队还使用了预训练的模型来提取车辆姿态，从而可以推断出方向信息[7，9]。 许多团队使用re-ranking方法作为后处理来提高ReID的性能[7、9、6、19]。一些团队将外部数据和附加标注添加到了训练模型中，但是在AICITY20中不允许这样做。
3. Methods
3.1. Baseline Model
3.2. Multi-Domain learning
在本节中，将介绍一种多域学习（multi-domain learning，MDL）方法来利用合成数据。
比赛同时提供了真实数据和合成数据，因此如何从两个不同域学习判别性特征是一个重要的问题。为方便起见，真实数据和合成数据/域分别表示为 D R \ D_R DR和 D S \ D_S DS。目标是在 D R ∪ D S \ D_R∪D_S DR∪DS上训练模型，并使其在 D R \ D_R DR上获得更好的性能。有两种简单的解决方案，如下所示：
- 解决方案1：合并真实数据和合成数据，直接训练ReID模型；
- 解决方案2：首先在合成数据 D S \ D_S DS上训练一个预训练模型，然后在真实数据 D R \ D_R DR上微调该预训练模型。
但是，这两个解决方案在比赛中不起作用。由于 D S \ D_S DS中的数据量比 D R \ D_R DR大得多，因此Solution-1会使模型更偏向 D S \ D_S DS。由于 D R \ D_R DR和 D S \ D_S DS之间存在很大偏差，因此对于CityFlow数据集， D S \ D_S DS上的预训练模型可能不会比ImageNet上的预训练模型更好。因此，解决方案2不是解决此问题的好方法。然而，一些工作使用了在Veri-776，VehicleID或CompCar数据集上的预训练模型，在AI CITY Challenge 2019中获得了更好的性能，这表明在合理数据上训练的预训练模型是有效的。基于上述讨论，我们提出了一种新颖的MDL方法来利用合成数据VehicleX。所提出的方法包括两个阶段，即预训练阶段和微调阶段。
Pre-trained Stage. 真实数据 D R \ D_R DR的所有训练数据都表示为图像集 R \ R R。然后，从合成数据 D S \ D_S DS中随机抽取一部分ID，以构建新的图像集 S \ S S。模型在新训练集 R ∪ S \ R∪S R∪S 上进行预训练。为了确保预训练模型不偏向 D S \ D_S DS， S \ S S的ID数不大于 R \ R R的数目。将 S \ S S的ID数设为100可以获得很高的性能，只需要选择 D S \ D_S DS的前100个ID。
Fine-tuning Stage. 为了进一步提升在 D R \ D_R DR上的性能，作者对这个预训练模型进行了fine-tune，没有用 S \ S S。尽管 D R \ D_R DR和 D S \ D_S DS之间存在很大的域偏差，但在这两个域中共享了诸如颜色和纹理之类的低级特征。因此，为了在fine-tune阶段保留低级特征，冻结了预训练模型的前两层。这里降低学习率也是有必要的。