澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录

点击我爱计算机视觉标星,更快获取CVML新技术


导语:在视频监控越来越普及的时代,行人重识别成为最炙手可热的技术,也是各大视频监控厂商技术争夺的焦点。澎思科技最近提出的新算法刷新了三个权威数据集新纪录,本文从算法模型架构、训练策略、距离度量三个方面介绍了该算法的改进,非常值得参考。

整理 | Jane

出品 | AI科技大本营(ID:rgznai100)

行人再识别起源于多摄像头跟踪,指在非重叠视角域多摄像头网络下进行的行人匹配,即确认不同位置的摄像头在不同的时刻拍摄到的行人目标是否为同一人。

行人再识别涉及计算机视觉、机器学习、模式识别等多个学科领域。在行人再识别(ReID)技术研究领域,首位命中率(Rank-1 Accuracy)和平均精度均值(Mean Average Precision,mAP)是衡量算法水平的核心指标。

近日,在行人再识别(Person Re-identification,简称ReID)算法上澎思科技取得了突破,在三大主流ReID数据集 Market1501、DukeMTMC-reID 和 CUHK03 测试中,算法关键指标首位命中率(Rank-1 Accuracy)刷新了世界纪录。

澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录_第1张图片

在三大数据集上,Rank-1 指标分别达到 96.73%、92.01% 和 84.57%超过了阿里巴巴、腾讯、大华、云从科技等头部厂家;在 CUHK03 数据集的实验中,mAP 也超过了之前的成绩。

澎思科技 Market1501 部分测试结果

澎思科技通过对算法的自研创新和融合探索,算法上的突破有以下三点:

1、金字塔水平分块策略:采用 human parsing 对人体分割,结合金字塔水平分块策略,使得网络准确提取细粒度区域特征的能力大幅提升;

如图所示, 特征图水平分割 6 等份,其幂集一共有种组合,去掉全集和空集以后还有种组合方式,这些特征区域可以组合成为新的特征图。

对每个新的特征图进行常规操作(全局池化=>卷积=>批归一化=>激活函数=>全连接层=>ID 监督信号)。通过多监督信号的参与,可以大幅提高模型的精度和鲁棒性。

澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录_第2张图片

2、(1)渐进式训练策略;(2)图网络结构

(1)训练阶段,借鉴 curriculum learning 思路,难样本比例逐步提升,使得损失函数更易收敛。参与训练的样本按照学习难易度、按顺序进入和退出训练循环,模型在训练的同时评估各样本的难度,如此可以保证模型能够有效挖掘样本特征完成ReID任务。

(2)通过图网络结构,学习得到各个细粒度特征的加权系数,进一步提高特征的分辨能力。

澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录_第3张图片

如图所示,网络在学习行人特征提取的同时还要学习区分不同部分的人体结构,有的放矢地在这些区域提取特征并进行池化可以大大减少背景信息造成的干扰。

同时使用图卷积网络对人体各部分的特征之关系经行建模可以得到一个人的整体表示,其效果要优于直接垂直等分特征图。

澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录_第4张图片

各部分的特征向量首先堆叠在一起形成特征矩阵,使用一维卷积分别混洗每行和每列的特征,让信息在各部分、各通道之间流动,重复一定次数以后可以得到稳定的整体特征。

3、重构距离:最后在测试阶段,除常规距离计算手段,引入重构距离,提升网络对未对齐、遮挡等技术难点的鲁棒性。

澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录_第5张图片

为了解决遮挡带来的精度下降问题,提出线性空间重构,利用参考图片的信息尝试尽可能地恢复残缺特征图,恢复后的特征图和参考特征图之间的距离即为重构距离。

由此可以保证相似的图片之间可以互相重构,而不同个体的图片不管怎么重构都有一定的距离。从而提高了模型应对遮挡情况的能力。

上述内容为澎思科技官方披露的算法改进,CV君还未发现算法描述论文地址。

相关阅读:

中科院&地平线开源state-of-the-art行人重识别算法EANet:增强跨域行人重识别中的部件对齐

BMVC18|无监督深度关联学习大幅提高行人重识别性能(附Github地址)


CV细分方向交流群

52CV已经建立多个CV专业交流群,包括:行人重识别(reid)、目标检测、语义分割、姿态估计、人脸识别检测、医学影像处理、超分辨率、神经架构搜索、GAN、强化学习等,扫码添加CV君拉你入群,

(请务必注明相关方向,比如:reid)

喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。

(不会时时在线,如果没能及时通过验证还请见谅)


长按关注我爱计算机视觉

你可能感兴趣的:(澎思科技新出行人再识别(ReID)算法,刷新三大数据集最高记录)