RGB-T行人检测汇总

RGB-T行人检测汇总

1.介绍
 2015年，第一个RGB-T行人检测数据集KAIST被提出，多光谱行人检测任务逐渐成为计算机视觉领域的研究热点之一。可见光相机可以在光照条件良好的条件下清晰地捕捉到行人的细节信息和颜色信息，但在弱光照甚至黑夜的环境下很难捕捉到有效的目标信息；而红外相机对外部光照变化不敏感，通常可以呈现出人体清晰的轮廓，但会丢失了人体的细节信息和颜色信息。因此，可见光图像和红外图像所提供的信息是互补的，如果可以有效地融合两种不同光谱类型的图像，就能得到更丰富的目标特征，增强行人检测器的辨别力和鲁棒性。如图1所示，只使用RGB图像或T图像中的一种进行检测时很难分辨Hard positive samples（很难被识别的正样本，即是行人但是由于模糊等情况容易被误判为背景的情况）和Hard negative samples（很难被识别的负样本，即是背景但是由于模糊等情况容易被误判为行人的情况）。

图1 单模态行人检测存在的问题

2 . 挑战及应用
 RGB-T行人检测主要应用于全天候自动驾驶和监控领域，面临的问题主要包括两部分。首先是行人检测共有的问题，主要包括：行人间严重遮挡、背景复杂以及行人尺寸差异（距摄像头的距离远近不同导致行人尺寸不同，较远位置的行人包含像素很少即分辨率很低），想要解决这些问题，就需要检测器有更强的分辨能力和更高的生态效度；其次是多模态任务共有的问题，主要包括：数据集获取和对齐难度大、如何有效地融合多模态信息（减少