行人重识别的大体介绍

• 行人重识别简介：

  

    首先拿到原始的视频，从对视频中的行人进行检测，将行人图片裁剪出来，得到一系列的行人图片(图中的gallery)，对于任意一张想要检索的图片，比如图中的Cam1，假设Cam1中的行人标号为A，在gallery中进行搜索，找到gallery中的所有的标号为A的人。

• 行人重识别的定义： 行人重识别也称行人再识别，被广泛认为是一个图像检索的子问题，

  是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术，即给定一个监控行人图像检索跨设备下的该行人图像。行人重识别技术可以弥补当前固定摄像头的视觉局限，并可与行人检测、行人跟踪技术相结合，应用于视频监控、智能安防等领域。

• 行人重识别的特点： 1. 人脸识别失效的场景应用 2. 行人重识别主要依靠 衣着、佩饰、体态等特点进行识别

• 应用： 行人跟踪 包括 1. 单摄像头单目标 2. 单摄像头多目标 3. 多摄像头多目标

• 行人重识别系统： 从原始视频帧经过行人检测的系统，提取出大量的行人图片，组成一个gallery，待检索的图片为probe，将gallery和probe的图片都进行特征提取，之后对特征进行相似度的度量，按照相似度进行排序，相似度越高的排在前面。 行人重识别主要集中在特征提取和相似度度量两个方面。

  

  行人重识别系统包括：1. 特征提取：学习能够应对不同摄像头下行人变化的特征 2. 度量学习：将学习到的特征映射到新的空间，是相同的人更近，不同的人更远 3. 图像检索：根据图片特征之间的距离进行排序，返回检索结果。

• 数据集： 数据集通常是通过人工标注或者检测算法得到的行人图片，目前与检测独立，注重识别。 数据集分为训练集、验证集、query、gallery：训练集用于训练，验证集用于测试的，测试模型的好坏。query是由一堆probe组成，gallery是一组图像库。在训练集上进行模型的训练，得到模型后对Query和Gallery中的图片提取特征计算相似度，对于每个query在Gallery中找出前N个与其相似的图片。训练和测试中的人物身份不重复

• 行人重识别的挑战： 1. 低分辨率 2. 行人遮挡 3. 视角、姿势变化 4. 光照变化 5. 视觉模糊性。上述的几个挑战会造成：1. 同一个人不同的图片会有较大的差异特征 2. 类间的差异减少，比如说如果两个人都在黑暗的环境下拍摄的照片，那么两个人提取的图片特征可能很相似。

  

• 行人重识别的评价指标： 1. rank-k：算法返回的排序列表中，前k位存在检索目标则称为rank-k命中，如图1所示2. CMC曲线：计算rank-k的击中率，形成rank-acc的曲线，如下图2 3. mAP曲线，反映检索的人在数据库中所有正确的图片排在排序列表前面的成都，能更加全面的衡量ReID算法的性能，rank-k只考虑了第一个被检索成功的样本，不能全面的说明模型的好坏，mAP如下图3所示：

  

  

  

• 评价模式——single shot vs multi shot：Single shot是指gallery中每个人的图像为一张(N=1)，而 multi shot 是指gallery中每个人的图像为N>1张，同样的Rank-k下，一般N越大，得到的识别率越高。下图中第一行就是一个single shot的例子，因为gallery中只有一张目标图像，而第二行就是一个multi shot(具体来说就是 3-shot)，因为gallery中有3张目标图像。

  

• 评价模式——single query vs multi query： Single query 是指probe中每个人的图像为一张(N=1)，而multi query是指probe中每个人的图像为N>1张图像，然后融合N张图片的特征(最大池化或者平均池化)作为最终特征。同样的Rank-k下，一般N越大，得到的识别率越高。通常，评价ReID模型的性能采用single shot + single query模式。

  

• 常用的距离度量： 欧氏距离、马氏距离、余弦距离