Distilled Person Re-identification: Towards a More Scalable System阅读笔记

Distilled Person Re-identification: Towards a More Scalable System

Ancong Wu, Wei-Shi Zheng等人 2019 CVPR 中山大学

1. 摘要

Scalable是ReID实际使用最大的障碍，本文从以下三个方面考虑ReID的Scalable问题：

• 问题一：减少打标签的数量来降低标记成本
• 问题二：重新使用现有知识来降低扩展成本
• 问题三：用轻量级模型来降低测试成本
  因此本文提出一个Multi-teacher Adaptive Similarity Distillation框架，只需要少量目标域的标签就可以将知识从多个教师模型传递到用户指定的轻量级学生模型，而不需要访问源域数据。此外还进一步提出Log-Euclidean Similarity Distillation Loss和集成了Adaptive Knowldge Aggregator来挑选有效的老师模型来迁移目标自适应知识。

2.方法

其核心是下图所示的框架：

主要用的是蒸馏学习思想。作者提出了三种措施分别解决上面的三个问题：

• 作者的方法在训练时只需要target域中的10个ID打标签，于是解决了打标签问题；
• 使用了多个老师模型，利用老师模型学习的先验知识，解决了跨域对应的扩展问题；
• 学生模型使用的是轻量级MobileNet网络，解决了计算量问题。

模型先使用不同的源域数据训练多个不同的老师模型，然后用ImageNet参数初始化的学生模型在目标域数据(10个ID标注，其余未标注)微调并提取图像特征，计算图像之间的相似性矩阵。然后得到各个老师模型的权重，权重越大表示目标域和这个老师模型对应的源域数据越相似。这种方法能达到很好的效果，但是却依赖于多个源域数据，而且实际使用时可能所有的源域数据和目标域差别都比较大。但思想还是很可取的，文章中数学原理部分比较多。

3. 实验

权重变化图如上所示，这里目标域是Market，根据第一行图可以看出MSMT和Duke的权重相对较大，这两个数据集和Market相对更像，但其实差别也很大，Market是夏天，而Duke是冬天，MSMT室内图像很多都是黑的，和Market也不是很像。

在无监督中，这个性能也不算很高。而且性能可能大部分是由于多个源域数据集的使用带来的，尤其是MSMT的使用，该团队另两篇文章MAR，PAUL也都是使用了MSMT这个大数据集作为辅助的。此外，目标域也还标注了10个ID的数据，对性能也有提升作用。

参考笔记：https://blog.csdn.net/weixin_39417323/article/details/98604231