Spindle Net——A Research Method of Person Re-identification(行人重识别)

姓名：王正帅

学号：14020120007

【嵌牛导读】：行人重识别（Person re-identification），是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。自2010年以来，行人重识别技术的训练库趋于大规模化，广泛采用深度学习框架。随着高校、研究所以及一些厂商的研究持续深入，行人重识别技术得到了飞速的发展。新的主流科研方案之一是在人体上检测部件（手，腿，躯干等等）再进行匹配识别——人体关节点定位检测，提出一种新的网络Spindle Net（主轴网络）。

【嵌牛鼻子】：行人重识别、计算机视觉 、人体关节点定位、Spindle Net

【嵌牛提问】：行人重识别技术可以做啥？行人重识别技术现在遇到了哪些问题，如何解决？

【嵌牛正文】：

行人重识别技术研究价值伴随技术挑战并存，该技术广泛应用于智能视频监控、智能安防等领域：当一个孩子在繁忙的街道上迷路时，ReID系统可以自动搜索从附近捕获的所有监控视频相机并立即找到这个孩子。还可帮助警方抓捕盗贼、逃犯；衣服颜色确实是行人重识别做出判断一个重要因素，但光靠颜色是不足的。首先，摄像头之间是有色差，并且会有光照的影响。其次，有撞衫（颜色相似）的人怎么办，要找细节，但比如颜色直方图这种统计的特征就把细节给忽略了。在多个数据集上的测试表明，光用颜色特征是难以达到50%的top1正确率的。人脸识别技术较难拿来应用：首先，广泛存在后脑勺和侧脸的情况，做正脸的人脸识别难。其次，摄像头拍摄的像素可能不高，尤其是远景摄像头里面人脸截出来很可能都没有32x32的像素。所以人脸识别在实际的重识别应用中很可能有限。

1、行人重识别技术现有挑战：

现有Person ReID技术面临的挑战：

挑战1.对于细微差异个体不易提取详细细节信息

挑战2.检测人体区域不能很好地对齐图像

挑战3.遮挡干扰

2、Spindle Net 的提出

新的主流科研方案之一是在人体上检测部件（手，腿，躯干等等）再进行匹配识别——人体关节点定位检测Spindle Net：以人体区域为导向的人体特征分解与融合。一种基于人体区域引导多阶段特征分解和树结构竞争特征融合的新型卷积神经网络（CNN），称为主轴网。这是CNN框架中第一次考虑人体结构信息来促进特征学习。

3、Spindle Net的结构特点

身体部位提议网络RPN

第一步是身体关节定位，从一个输入图像中定位十四个人体关节。第二步是身体区域生成，根据身体关节位置Pi获得七个身体子区域，包括三个宏观子区域（头肩，上身，下身）和四个微观子区域（两臂，两腿）。

人体区域引导多阶段特征提取网络（FEN）：FEN将人物图像与区域提议一起作为输入，计算全图像的一个全局特征向量和与所提出的七个子体区域对应的七个子区域特征向量。

树结构竞争特征融合网络（FFN）：FFN将全图像特征矢量和子区域特征矢量合并在一起来计算最终特征矢量。 最终的特征向量可以用来区分不同的人。

4、Spindle Net 实验结果分析

测试过程重复100次，平均结果报告显示，Spindle可以在大多数现有的ReID数据集上达到最佳的Top-1精度。特别是Spindle在CUHK03数据集上可以达到88.5的Top1精度，比最好的比较方法高出10.1％。此外，Spindle可以在具有挑战性的Market-1501数据集上实现76.9％的Top-1精度，比最佳比较好11.0％。这是因为Spindle考虑了人身的地标信息，并且在ReID管道中使用了身体区域多阶段特征提取。此外，特征选择和融合策略也有助于获得良好的紧凑特征。