A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking

两点值得关注:

①解决视角多变

粗略姿势+精细姿势结合的方法

粗鲁姿势即通过相机视角捕获的几种情况进行分析,分正面、背面、侧面三种类别,加一个softmax做分类,用作视角预测。这算是对预测ID提供一个粗略的帮助。

精细姿势就是熟知的骨架关键点,利用人体的关节信息去做一个精细的判断。这里提到用的是Deepcut模型提取关节点信息,值得一看。【Deepercut: A deeper, stronger, and faster multiperson pose estimation model,2016】

②一种重排序方法

与之前ZZ那篇效果差不多,这里使用到一种扩展领域交叉距离的概念,公式太多,难理解。不过,ZZ的re-ranking算是学术界常用的,以后有机会搜集re-ranking系列,对结果的提升起码能到4%左右吧!


17指的是14个关键点分别作为一个通道以及3个RGB通道一起输入网络。最终根据feature map的带有关键点的置信图去做一个视角的分类,即人体的朝向预测,指导最后的id预测。我觉得应该可以加一个ROI区域,除了分类损失,将这个ROI分支做三元组损失计算,一方面这个ROI可以达到分块方法的效果,即根据关键点信息界定头部、上身以及下身的检测框区域随后提取部位局部特征的信息,还能做一个类间类内的度量量化,算是细化的重排。

端正姿态真的很重要~

你可能感兴趣的:(A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking)