京东开源FastReID：用于真实人物重新识别的Pytorch工具箱

 

作者信息

介绍

 

FastReID是迄今为止最完整，最高性能的工具箱，支持单个和多个GPU服务器。

 

最近京东开源了FastReID，作为JD AI Research中广泛使用的对象重新识别（re-id）软件系统。

高度模块化和可扩展的设计使研究人员易于实现新的研究思路。友好的可管理系统配置和工程部署功能使从业人员可以将模型快速部署到生产中。里面已经实现了一些最新的算法，包括人员识别，部分识别，跨域识别和车辆识别，并计划在多个基准数据集上发布这些经过预训练的模型。

 

FastReID特点

 

为ReID任务提供完整的工具箱，包括培训、评估、微调和模型部署。此外，它在多个任务中实现了最先进的模型。

 

•  模块化、灵活的设计使研究人员能够快速地将新的模块插入和替换到现有的过程中，帮助学术界快速验证新的想法；

   

• 易于管理的系统配置，FastReID使用PyTorch实现，可以在多个GPU服务器上提供快速培训，模型结构、培训和测试可以用YAML文件轻松定义，并为每个块提供许多可定义的选项（主干、培训策略、聚合策略、丢失功能等）。

   

•  丰富的评价体系不仅实现了CMC评价指标，还包括ROC、mINP等，能够更好地反映模型的性能。

   

•  FastReID易于工程部署，不仅提供了一个有效的知识提取模块，以获得准确高效的轻量级模型，而且还提供了Pythorch->Caffe和Pythorch->TensorRT模型转换工具。

   

•  众多最先进的预培训模式、官方计划发布人员重新识别（人员重新识别）、部分可见人员重新识别（部分重新识别）、跨域人员重新识别（跨域重新识别）和车辆重新识别（车辆重新识别）以及许多其他模式。

FastReID 框架

 

图1.FastReID库的模块流程图

上图完整列出了FastReID的各个模块。

 

训练阶段包括以下模块：

图2.图像预处理

• 预处理实际上是多种数据增强方法，如大小调整、翻转、随机擦除、自动增强、随机补丁、剪切等。

 

• 骨干网（Backbone），包括选择骨干网（如ResNet、ResNest、ResNeXt等）和能够增强骨干网表达能力的特殊模块（如非本地、实例批量规范化（IBN）模块等）；

 

• 聚合模块（Aggregation），用于将骨干网生成的特征聚合为全局特征，如最大池、平均池、GeM池、注意池等方法；

 

• 头部模块，用于规范化生成的全局特征并降低纬度。

   

• 训练策略，包括学习率、warm-up,Backbone freeze等。

   

• 特别值得一提的是，它的损耗函数不仅包括了常见的交叉熵损耗、三重态损耗、弧面损耗，目前被认为是各种度量学习任务中表现最好的。

 

 

 

在推理阶段，该模块包括：

• 测量部分除了支持共余弦和欧氏距离外，还增加了局部匹配的深空重建方法（DSR）；

• 后处理部分是指对搜索结果的处理，包括K倒数编码和查询扩展（QE）两种重排序方法。

 

实验结果

 

作者对常用数据集上测试了FastReID的准确性。

 

人员再识别任务中三大数据集的结果:

表1.Market1501、DukeMTMC和MSMT17数据集的性能比较。

表2.FastReID的消融研究（ResNet50 384×128）

 

跨域人员再识别是指对模型进行调整，使其在标记的源域数据集上得到训练，并在另一个未标记的目标域数据集中得到推广。不同的领域往往有非常不同的图像。

表3.在三个基准数据集上与无监督跨域re-id SOTA方法的性能比较。“ BOT”表示技巧包方法，这是ReID任务中的强基准。M：Market1501，D：DukeMTMC，MS：MSMT17

 

表4.FastReID DSR在大多数指标上也取得了最好的结果

车辆重识别实验结果

从表中可以看出FastReID 实现了对17-19年出现的SOTA算法碾压式超越。

 

结论

实验结果证明了FastReID在多种任务上的多功能性和有效性，可以发现FastReID在各种多种任务中都表现得非常优秀，例如人员重新识别和车辆重新识别，作者希望发布FastReID将继续加快该领域的进展人/车辆的重新识别，增加交流与合作。

 

论文地址：

https://arxiv.org/pdf/2006.02631v1.pdf

开源地址：

https://github.com/JDAI-CV/fast-reid

更多论文地址源码地址：关注“图像算法”微信公众号