视频和激光融合目标检测笔记

1.文章一

为提高军用地面无人平台自主跟随过程中对目标领航车辆检测识别的准确性和实时性, 提出了一种基于激光雷达和视觉摄像机信息融合的目标领航车检测识别方法。

在识别系统工作前,需对激光雷达和摄像机两种传感器进行标定,确定激光雷达坐标、 摄像机坐标、 车体坐标三者之间的相互关系。车辆识别过程中, 首先对激光雷达数据进行最近邻域法聚类分析, 根据聚类的结果对周围目标进行初步筛选生成假设目标;根据激光雷达数据和摄像机图像之间的转换关系, 确定假设目标在图像中的感兴趣区域, 可以有效减少图像处理的计算量;最后, 利用多特征级联分类识别方法验证假设目标是否为目标领航车辆。实验结果表明该算法具有较好的环境适用性,弥补了单目视觉传感器在目标领航车辆检测识别过程中无法检测到深度信息,以及激光雷达不能准确判断出目标为何物的不足。

2.文章二

随着信息技术在全球的快速发展，行人检测技术广泛的应用到视频监控、医疗诊断和各种智能交通领域。行人检测技术包括行人识别,分类和行为分析等几个方面,涉及到图像处理、模式识别和人工智能等诸多领域。

传统的行人检测方法主要采用单目摄像机,提取行人的轮廓、形状和纹理等特征,采用统计学习的方法对行人进行行人检测。由于摄像机自身的限制,采集的视频图像容易受天气光照变化的影响,提取的行人特征完全依赖于图像中的颜色特征,信息较为单一,
因此检测精度和速度都有待提高。

针对传统的行人检测方法中出现的诸多问题,本文采用3D激光扫描仪和摄像机协同工作,利用激光点云对视频图像进行初步目标区域提取,减小计算范围,采集行人的反射强度信息,扩充视频图像的HOG特征,并利用线性SVM进行训练得到行人检测分类器,从而进行行人检测。

本文的主要工作如下:

1)激光扫描仪和摄像机的联合标定。本文采用手动和自动结合的联合标定方法,手工调整将激光点云映射到对应的视频图像并达到基本重合,从重合的激光点云和图像上选择对应的标定点,使用标定点计算得到校正参数。

2)视频图像和激光点云的特征提取。提取视频图像中行人的HOG特征;利用配准后的激光点云生成反射强度灰度图,对反射强度灰度图进行预处理,然后提取反射强度灰度图中行人的HOG特征。

3)利用激光点云提取目标检测区域。首先剔除激光点云中的地面点、噪音点以及远距离背景点,保留行人和车辆区域,然后生成激光点云灰度图并提取目标检测区域,大大减小了滑动窗口的检测搜索范围,提高了检测速度。

4)融合视频图像和激光点云行人特征。在像素层面上融合激光点云中反射强度信息和视频图像信息,丰富了单一视频图像中行人HOG特征,使用线性SVM训练融合后的行人HOG特征进行行人检测,降低了误检率和漏检率。

           本文分别从时间和检测效率上对比了单一摄像机和激光点云和视频融合后的检测效果,实验结果表明,本文提出的数据融合方法在行人检测时效果更好。