2019CVPR之ReID：Distilled Person Re-identification Towards a More Scalable System

Distilled Person Re-identification Towards a More Scalable System
当前的问题及概述：
目前RGB-RGB ReID包含3个问题：(1)通过减少标签量来降低标签成本;(2)通过重用现有知识来降低扩展成本;(3)通过使用轻量级模型来降低测试计算成本。这三个问题本文统称为可扩展性问题。
因此，本文基于这一问题，提出了一个可扩展自适应Re-ID系统。首先，本文提出了Multi-teacher Adaptive Similarity Distillation Framework，通过已训练好的教师模型扩展到一个新的场景时，使用新场景的未标记数据和少量标记数据，将教师模型中的知识转移到轻量级学生模型中，而不需要使用可能无法访问的源域数据，如图一。其次，本文提出Log-Euclidean Similarity Distillation Loss ，进一步集成了自适应知识集成器来选择有效的教师模型来转移目标自适应知识。

模型及loss：
利用了嵌入在相似性中的知识，使学生模型模仿教师模型的成对相似性。A表示成对相似矩阵，学生模型HS和教师模型HT的成对相似矩阵分别用AS和AT表示。为了将知识从教师传递给学生，我们将学生相似矩阵AS与教师相似矩阵AS之间的距离最小化，其中，dist(·)是相似矩阵的距离度量：

2.1 Construction of Similarity Matrices：
学生相似矩阵AS为例（教师同理）：
这里使用了神经网络中常用的余弦相似度，对于样本Ii，学生模型HS提取了d维 特征向量HS(Ii;ΘS)，令xS,i∈Rd表示由的非负归一化单位特征向量：

因此，相似矩阵AS为：

2.2 Log-Euclidean Similarity Distillation：
构建学生和老师的相似性矩阵后,我们的目标是提取的知识通过最小化相似度矩阵之间的距离：

2.3 Multi-teacher Adaptive Similarity Distillation Framework：

在教师模型和学生模型之间，多个教师模型指导是对公式6的一个加和：

在学生模型内部，由于存在大量无标签和少量有标签数据，采用validation empirical risk loss，进而使得positive pair更接近，negative pair更远离即softmax CE loss：

实验：
数据集：Market-1501和DukeMTMC

与其他框架比较：
其中“#Para”表示参数数，“FLOPs”表示浮点操作(测试计算成本)，“Train”表示训练时间。“R-1”表rank-1的准确度(%)。“mAP”表示平均精度(%)。

消融实验：

总结：
本文旨在通过知识蒸馏方法对现有单模态ReID任务的标签量少、计算量大的问题进行解决，通过构建多个标记过的教师模型对仅含有少量标记的学生模型进行指导，在对不同模型提取时，通过卷积网络提取特征并得到相应的相似度矩阵，通过计算教师模型与学生模型的距离计算最小化相似度矩阵的距离，又由于学生模型内部是含有大量未标记样本，在通过softmax CE loss对positive样本和negative样本的距离进行计算，进而进行有效的分类任务。