RGB-D dataset

      2012年ACCV《Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes 》公布了一个数据库,该数据库可用于Pose tracking方面的测试。这篇博客主要介绍一下这个数据库,以及使用该数据库时的注意事项。

      数据库下载地址:http://campar.in.tum.de/Main/StefanHinterstoisser

      该数据库包含了15个texture-less不同物体的RGB图像、每幅图像的深度信息以及对应的3D Ground truth姿态,每个物体超过1000幅图像。打开每个物体的压缩包,我们会发现以下文件:



[1] 文件夹data  该文件夹包含物体的RGB-D图像,深度数据(如depth0.dpt),平移姿态参数(如tra0.tra),旋转姿态参数(如rot0.rot) 4种类型的数据;

[2] mesh.ply  该文件存储的物体的3D模型,可以通过Blender软件打开,关于3D模型.ply文件的格式可以参考以下链接http://zh.wikipedia.org/wiki/PLY;

[3] object.xyz 该文件内存储的物体的3D点云,是一个比较粗糙的3D模型;

[4] Oldmesh.ply  该文件内也是保存的物体的3D模型,该文件与mesh.ply有些不同,其3D点的坐标以及法向量是对应摄像机坐标系的,而mesh.ply是对应世界坐标系(物体坐标系)的。

      我们在使用这个数据库时,应该注意以下几点:

1. Ground truth pose parameters 是对应mesh.ply文件中的3D模型的,而不是Oldmesh.ply的;当然,也对应object.xyz内的3D点云。

在使用Ground truth pose parameters时,应该注意的是,平移姿态参数的单位,文件中tra*.tra的数值单位是cm,而mesh.ply中点的坐标单位是mm,因此,应该首先将平移姿态参数数值乘以10(cm->mm)。旋转矩阵没有单位,所以不用考虑。以ape数据第一帧投影为例,投影之后的结果:

RGB-D dataset_第1张图片


2. 深度数据文件depth*.dpt,作者提供了读这种文件的函数,函数中没有使用opencv较新的版本,可以考虑将IplImage类改成Mat类,链接http://campar.in.tum.de/personal/hinterst/index/downloads!09384230443!/loadDepth.txt。文件中的数据单位为mm,可以统一缩放至[0,255],便于可视化。

3. 经过实验发现,mesh.ply+GT pose,投影之后得到的物体轮廓并不完全与物体重合,有较小的偏差,这是由于作者在标Ground Truth时采用的KinectFusion方法,该方法计算姿态参数存在不精确性。

4. 作者提供的txt文件中明确指出,RGB图像与深度数据已经配准了,不需要再进行此操作。

你可能感兴趣的:(3D,Pose,Tracking,pose,estimation,pose,tracking,数据库,rgb)