kitti数据集介绍(采集平台+标定文件+标注文件解释)

1. kitti数据采集平台

KITTI数据集的数据采集平台装配有2个灰度摄像机,2个彩色摄像机,一个Velodyne64线3D激光雷达,4个光学镜头,以及1个GPS导航系统。图示为传感器的配置平面图,为了生成双目立体图像,相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好,所以还使用了两个立体灰度摄像机,它和彩色摄像机相距6cm安装.
传感器:

1惯性导航系统(GPS / IMU):OXTS RT 3003
1台激光雷达:Velodyne HDL-64E
2台灰度相机,1.4百万像素:Point Grey Flea 2(FL2-14S3M-C)
2个彩色摄像头,1.4百万像素:Point Grey Flea 2(FL2-14S3C-C)
4个变焦镜头,4-8毫米:Edmund Optics NT59-917

坐标以及传感器布置如下所示:
kitti数据集介绍(采集平台+标定文件+标注文件解释)_第1张图片kitti数据集介绍(采集平台+标定文件+标注文件解释)_第2张图片

2. calib.txt 标定文件解读

一个典型的标定文件如下所示:

P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00  
P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00  
P2: 7.070493000000e+02 0.000000000000e+00 6.040814000000e+02 4.575831000000e+01 0.000000000000e+00 7.070493000000e+02 1.805066000000e+02 -3.454157000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 4.981016000000e-03  
P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03  
R0_rect: 9.999128000000e-01 1.009263000000e-02 -8.511932000000e-03 -1.012729000000e-02 9.999406000000e-01 -4.037671000000e-03 8.470675000000e-03 4.123522000000e-03 9.999556000000e-01  
Tr_velo_to_cam: 6.927964000000e-03 -9.999722000000e-01 -2.757829000000e-03 -2.457729000000e-02 -1.162982000000e-03 2.749836000000e-03 -9.999955000000e-01 -6.127237000000e-02 9.999753000000e-01 6.931141000000e-03 -1.143899000000e-03 -3.321029000000e-01  
Tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01  

0, 1, 2, 3 代表相机编号:

0 1 2 3
左边灰度相机 右边灰度相机 左边彩色相机 右边彩色相机

P0, P1, P2, P3 分别代表对应的相机内参矩阵, 大小为 3x4:
kitti数据集介绍(采集平台+标定文件+标注文件解释)_第3张图片
fufv 是指相机的焦距;
cucv 是指主点偏移:
相机的主轴是与图像平面垂直且穿过真空的线,它与图像平面的焦点称为主点。
主点偏移就是主点位置相对于图像平面(投影面)的位置。上图中,增加x0的值相当于把针孔向右移动,等价将投影面向左移动同时保持针孔位置不变。
bi 是指第i个摄像头到0号摄像头的距离偏移(x方向)。

R0_rect 为0号相机的修正矩阵.
Tr_velo_to_cam 为velodyne到camera的矩阵 大小为3x4,包含了旋转矩阵 R 和 平移向量 t.
kitti数据集介绍(采集平台+标定文件+标注文件解释)_第4张图片
Tr_imu_to_vel 为imu到camera的矩阵 大小为3x4,包含了旋转矩阵 R 和 平移向量 t.

3. label.txt 标注文件解读

以某个label文件为例:

Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56  
Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57  
Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55  
DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10  
DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10  
DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10  
DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10  

Car 为例:

label.txt Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57
说明 类别 truncated(截断程度), 0.00表示无截断 occluded(遮挡率), 0表示无遮挡 alpha([-pi, pi]) 观察角度 2D Bounding Box(BB) 左上角的坐标 2D BB 右下角的坐标 3D BB的height, width, length 3D BB 位置在camera相机的坐标 置信度,用来绘制p/r曲线,越高越好

DontCare 划分出了不感兴趣的区域,区域内的物体不会被label。

参考文章:
How to understand the KITTI camera calibration files?
Sensor Setup
kitti数据集标定文件解析
相机矩阵(Camera Matrix)

你可能感兴趣的:(自动驾驶)