【CVPR2020】Temporal-Context Enhanced Detection of Heavily Occluded Pedestrians笔记

原文链接：http://openaccess.thecvf.com/content_CVPR_2020/html/Wu_Temporal-Context_Enhanced_Detection_of_Heavily_Occluded_Pedestrians_CVPR_2020_paper.html

0 Abstract

现有工作集中在无遮挡行人检测和有遮挡静态行人检测，本文针对视频有遮挡的行人探测问题，利用视频中行人局部时空上下文提出了tube feature aggregation network (TFAN)。对于当前帧被遮挡的行人，沿时间轴寻找相关的对等物，形成一个tube，根据自适应权值聚合来增强被遮挡行人的特征表示。设计 temporally discriminative embedding module (TDEM) 和 a part-based relation module (PRM)以匹配自己的方法。

1 Algorithm

算法包含两个部分：
1.Tube linking：从当前帧中的行人proposal开始，在相邻帧中迭代搜索相关的对应项(不一定是同一个人)，从而形成一个tube;
2.Feature aggregation：将tube中的proposal features聚合，根据它们和当前候选建议的语义相似性进行加权，增强当前框架中行人特征表示。使得分类器能够从背景中更可信的区分严重遮挡的行人。

2 想法

解决的问题：

1. 被严重遮挡的行人难以从背景中分离

2. 探测器很难知道如何聚焦于部分被遮挡的行人可见部分

主要思想：

利用时空上下文增强严重遮挡行人特征的可辨识性。沿时间轴寻找寻找低遮挡的行人，若存在，利用这些信息补偿信息严重缺失的当前帧。