kitti数据集介绍(采集平台+标定文件+标注文件解释)

1. kitti数据采集平台

KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。图示为传感器的配置平面图，为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装.
传感器：

1惯性导航系统（GPS / IMU）：OXTS RT 3003
1台激光雷达：Velodyne HDL-64E
2台灰度相机，1.4百万像素：Point Grey Flea 2（FL2-14S3M-C）
2个彩色摄像头，1.4百万像素：Point Grey Flea 2（FL2-14S3C-C）
4个变焦镜头，4-8毫米：Edmund Optics NT59-917

坐标以及传感器布置如下所示：

2. calib.txt 标定文件解读

一个典型的标定文件如下所示：

P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00  
P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00  
P2: 7.070493000000e+02 0.000000000000e+00 6.040814000000e+02 4.575831000000e+01 0.000000000000e+00 7.070493000000e+02 1.805066000000e+02 -3.454157000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 4.981016000000e-03  
P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03  
R0_rect: 9.999128000000e-01 1.009263000000e-02 -8.511932000000e-03 -1.012729000000e-02 9.999406000000e-01 -4.037671000000e-03 8.470675000000e-03 4.123522000000e-03 9.999556000000e-01  
Tr_velo_to_cam: 6.927964000000e-03 -9.999722000000e-01 -2.757829000000e-03 -2.457729000000e-02 -1.162982000000e-03 2.749836000000e-03 -9.999955000000e-01 -6.127237000000e-02 9.999753000000e-01 6.931141000000e-03 -1.143899000000e-03 -3.321029000000e-01  
Tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01  

0, 1, 2, 3 代表相机编号:

0	1	2	3
左边灰度相机	右边灰度相机	左边彩色相机	右边彩色相机

P0, P1, P2, P3 分别代表对应的相机内参矩阵, 大小为 3x4：

fu 和 fv 是指相机的焦距;
cu 和 cv 是指主点偏移：
相机的主轴是与图像平面垂直且穿过真空的线，它与图像平面的焦点称为主点。
主点偏移就是主点位置相对于图像平面(投影面)的位置。上图中，增加x0的值相当于把针孔向右移动，等价将投影面向左移动同时保持针孔位置不变。
bi 是指第i个摄像头到0号摄像头的距离偏移（x方向）。

R0_rect 为0号相机的修正矩阵.
Tr_velo_to_cam 为velodyne到camera的矩阵 大小为3x4，包含了旋转矩阵 R 和 平移向量 t.

Tr_imu_to_vel 为imu到camera的矩阵 大小为3x4，包含了旋转矩阵 R 和 平移向量 t.

3. label.txt 标注文件解读

以某个label文件为例：

Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56  
Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57  
Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55  
DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10  
DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10  
DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10  
DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10  

以 Car 为例：

label.txt	Car	0.00	0	1.85	387.63 181.54	423.81 203.12	1.67 1.87 3.69	-16.53 2.39 58.49	1.57
说明	类别	truncated(截断程度), 0.00表示无截断	occluded(遮挡率), 0表示无遮挡	alpha([-pi, pi]) 观察角度	2D Bounding Box(BB) 左上角的坐标	2D BB 右下角的坐标	3D BB的height, width, length	3D BB 位置在camera相机的坐标	置信度，用来绘制p/r曲线，越高越好

DontCare 划分出了不感兴趣的区域，区域内的物体不会被label。

参考文章：
How to understand the KITTI camera calibration files?
Sensor Setup
kitti数据集标定文件解析
相机矩阵(Camera Matrix)